Selon Fuchs et Moreau (2003), la réalité virtuelle doit « permettre à une personne (ou à plusieurs) une activité sensori-motrice dans un monde artificiel, qui est soit imaginaire, soit symbolique, soit une simulation de certains aspects du monde réel » (p. 6). C’est de cette « simulation des aspects du monde réel » dont il sera question dans cet article, et plus particulièrement de la praxis énonciative à l’œuvre en écriture multimédia afin de comprendre comment la réalité virtuelle permet de reproduire les effets du vivant, ou de produire autrement l’énergie de la nature.
Nous étudierons l’articulation des formes et substances des plans de l’expression des sémioses perceptive et discursive engagées dans cette simulation. Il s’agira d’une part de comprendre comment une forme de l’expression naturelle se convertit en une forme d’expression virtuelle dans le but d’identifier la structure phénoménale simulée. D’autre part, nous analyserons les stratégies discursives à l’œuvre dans l’écriture numérique de ces interfaces.
Cette recherche en sémiotique analysera un corpus constitué d’images numériques produites par des développeurs et de textualisations de leurs pratiques, selon une méthodologie fondée sur les plans d’immanence (Fontanille 2007), les textualisations des pratiques (Dondéro 2009) et la sémiotique de la perception (Bordron 2002 ; Moutat 2015, 2019).
réalité virtuelle, sémiose, perception, textualisation, écriture multimédia.
According to Fuchs and Moreau (2003), virtual reality should “allow a person (or several people) a sensory-motor activity in an artificial world, which is either imaginary, symbolic, or a simulation of certain aspects of the real world” (p. 6). It is this “simulation of aspects of the real world” that will be discussed in this article, and more specifically the enunciative praxis at work in multimedia writing, in order to understand how virtual reality makes it possible to reproduce the effects of the living, or to produce the energy of nature in a different way.
We will study the articulation of the forms and substances of the planes of expression of the perceptive and discursive semioses involved in this simulation. On the one hand, it will be a question of understanding how a natural form of expression is converted into a virtual form of expression in order to identify the simulated phenomenal structure. Secondly, we will analyse the discursive strategies at work in the digital writing of these interfaces.
This semiotic research will analyse a corpus of digital images produced by developers and textualisations of their practices, using a methodology based on plans of immanence (Fontanille 2007), textualisations of practices (Dondéro 2009) and the semiotics of perception (Bordron 2002; Moutat 2015, 2019).
Virtual reality, Semiosis, Perception, Textualisation, Multimedia writing
Introduction
Les mondes numériques constituent une thématique des plus contemporaines, laquelle a déjà fait l’objet de nombreuses recherches en informatique, design, sciences de l’information et de la communication ou encore en sociologie des médias, mais pour laquelle la sémiotique accuse un léger retard. En effet, alors que le premier casque de réalité virtuelle apparaît en 1970, il faudra attendre le début des années 2000 pour voir émerger les premières recherches en sémiotique sur le numérique (Pignier et Drouillat 2005, 2008). De même, si nous consultons l’index des mots-clefs des Actes sémiotiques, le mot « numérique » n’a que deux occurrences, quand la revue Visible ne le cite pas encore (au moment où nous rédigeons cet article). C’est finalement dans la revue Signata que l’on compte davantage d’occurrences pour le mot-clef « Digital » (13 au total), lesquelles n’apparaissent cependant qu’à partir de 2012. Depuis quelques années, il semblerait en effet qu’un nouveau groupe de sémioticiens ait décidé de consacrer ses travaux de recherche aux questions de la signification et des systèmes d’écriture numériques1.
Toutefois, un autre problème demeure : si l’opérationnalité stratégique de la sémiotique dans les problématiques d’agences de communication n’est plus à démontrer (Floch 1990 ; Semprini 1995 ; Bertin 2003, 2010 ; Boutaud 2019 ; Bobrie 2019), sa pertinence dans le champ du design numérique reste sous-exploitée alors que les apports2 des sciences de l’information et de la communication (Vial 2010, 2013) et de la psychologie cognitive (Norman 1988, 2004, 2007, 2010 ; Lallemand et Gronier 2015) ont été reconnus par certains designers, et cela depuis de nombreuses années.
Dans ce contexte, l’objectif de cet article est d’amorcer un nouveau questionnement sur les phénomènes de sémiose que les mondes numériques engagent lors de leurs pratiques d’écriture d’une part et de leur expérience d’autre part, autrement dit lors de leur « manipulation » et de leur perception. Plus précisément, il s’agira d’étudier la praxis énonciative à l’œuvre en écriture multimédia dans la « simulation des aspects du monde réel » dans le but de mettre au jour la manière dont la réalité virtuelle permet de reproduire les effets du vivant, ou de produire autrement l’énergie de la nature. Dès lors, notre entreprise nécessite d’être en prise directe avec les développeurs et designers afin d’étudier les pratiques de conception et de développement des mondes numériques dans le but de mieux comprendre ces démarches et leurs produits et, dans une plus large mesure, d’affirmer la plus-value sémiotique dans l’optimisation de ces mondes.
Rappels terminologiques
Avant de satisfaire cet objectif, nous souhaiterions au préalable faire un détour terminologique afin de circonscrire l’objet de notre analyse.
Définition « objets numériques »
Dans la mesure où tout ce qui est qualifié de « numérique » se réfère explicitement à ce qui est conçu au moyen d’une technique faisant appel aux nombres et aux chiffres, les objets numériques sont donc des productions générées par une suite de zéro et de un. À la différence des objets physiques, l’objet numérique est intangible dans le sens où on ne peut le toucher directement avec notre corps propre. Sa manipulation est médiée par une interface matérielle (écran et clavier d’ordinateur, souris, trackpad par exemple), contenant elle-même une interface logicielle qui permet de convertir les données brutes (langage binaire et langages de programmation) en éléments visualisables et compréhensibles par un utilisateur lambda. Les objets numériques sont donc divers et variés : ce peut être des documents textuels, vidéos, images, sons, applications, cryptomonnaie, fichiers 3D… ou encore un mélange de ces objets à l’origine des « mondes numériques ».
Définition des « mondes numériques »
Notre lecteur n’aura sans doute pas manqué de constater que nous n’employons pas le singulier mais bien le pluriel pour parler de « mondes numériques ». Ainsi reconnaissons-nous la diversité à laquelle cette expression peut renvoyer. Afin de définir les « mondes numériques », revenons sur la définition que le CNRTL donne au « monde » lui-même : « Ensemble constitué des êtres et des choses créées ; l’univers, le cosmos ».
Le monde se présente ainsi comme une méréologie construite, dont les éléments constitutifs peuvent être statiques ou dynamiques (vivants ou non vivants). Il est assimilé à l’univers, entendu comme « l’ensemble de tout ce qui existe, la totalité des êtres et des choses ». Cette existence se fonde empiriquement, dans la relation perceptive que le sujet entretient avec les autres composants du monde : « Ensemble de tout ce qui existe sur terre, perçu par l’homme » nous dit un peu plus loin le CNRTL. Situé au sein du monde dont il est partie intégrante, le sujet en perçoit les autres éléments avec lesquels il entretient des liens plus ou moins ténus et auxquels il attribue des modes d’existence distincts. Dès lors, le monde est un complexe ontologique qui s’offre également comme une donnée de l’expérience sensible, autrement dit comme un complexe iconique (Bordron 2011). Plus précisément, il se manifeste comme une méréologie dont les différents éléments incarnent eux-mêmes des modes d’existence différents. Cette méréologie n’est pas une juxtaposition d’éléments modalisés ; Gilson (1931, p. 31) en reconnaît les liaisons : « L’univers est un système d’êtres et de relations entrelacées, dont l’homme fait partie ». Le mode de connexité relève donc de l’entrelacs faisant du monde un réseau (Bordron 2009), totalité dont chaque partie est en contact avec au moins une autre, l’homme constituant l’une de ces parties.
Dans ce cadre, le numérique se présente également comme une donnée du monde mais cette donnée (ou datum) est totalement créée par l’homme ; et cela de manière indirecte car le numérique est généré par une chaîne algorithmique. Il est également doté d’un mode d’existence (on parle de virtuel) et peut être perçu par l’homme, voire expérimenté, dans sa forme la plus complexe, sous la forme d’un éco-système numérique ou d’un monde. Dans ce dernier cas, l’objet numérique acquiert un degré de complexité plus élevé. Reconstruit comme « un ensemble d’êtres et de choses », que ces derniers soient totalement imaginaires ou bien calqués sur la réalité, le monde numérique s’offre ainsi comme un espace d’interactions et d’activités mais également comme un espace sensible qui s’appréhende de manière spécifique : il devient donc pourvoyeur d’expérience. Tel est le cas des jeux vidéo, des métavers et de la réalité virtuelle (ou VR en anglais) ou encore de la réalité augmentée (encore appelée AR ou XR pour « réalité étendue »). Si ce qu’est un jeu vidéo n’est plus un secret pour personne, ce que peuvent recéler les autres mondes soulève davantage de questionnements. C’est sur ces derniers que nous porterons désormais notre attention.
Définition du continuum
Les mondes numériques se sont considérablement développés depuis les années 90, période à laquelle ils ont progressivement élargi leurs usages de la sphère industrielle au marché vidéoludique. C’est ainsi que les premiers casques de réalité virtuelle, tels que le VFX1® de Forte Technologies en 1994 ou le Virtual Boy® de Nintendo en 1995 ont vu le jour. Depuis, l’offre n’a cessé de se développer au gré des évolutions technologiques et de la démocratisation des casques VR, jusqu’à modifier aujourd’hui nos expériences culturelles et patrimoniales. Du VFX1® à l’Apple Vision Pro® en 2024, en passant par le Varjo XR-4®, le Pico G3® et le Meta Quest 3® en 2023, l’offre des lunettes et casques VR s’est diversifiée et, avec elle, une terminologie foisonnante a émergé : « réalité virtuelle », « réalité augmentée », « réalité mixte », ou encore « réalité étendue » sont ainsi venus enrichir la terminologie du numérique.
C’est ainsi que Milgram, Takemura, Utsumi et Kishino (1994) proposent d’organiser cette terminologie non pas comme une taxinomie fondée sur l’opposition catégorielle de l’axe sémantique Réalité vs Virtualité mais comme un continuum. Selon leur conception, la réalité et la virtualité doivent donc être considérées ensemble : “Rather than regarding the two concepts simply as antitheses, however, it is more convenient to view them as lying at opposite ends of a continuum, which we refer to as the Reality-Virtuality (RV) continuum” (Milgram et al. 1994, p. 283).
La réalité mixte (notée MR) associe les mondes réel et virtuel en combinant leurs éléments respectifs. Elle intègre la réalité augmentée, la virtualité augmentée et la réalité virtuelle (non représentée ici mais située au milieu de ce continuum).
Ainsi, la réalité augmentée (notée AR) consiste à superposer des éléments virtuels (images fixes ou mobiles, sons, textes) sur le monde réel, donnant ainsi l’illusion à l’utilisateur d’une connexité entre réalité et virtualité. À l’inverse, la virtualité augmentée (notée AV) requiert l’intégration d’éléments physiques du monde réel dans son interface. La réalité virtuelle (notée VR) immerge totalement l’utilisateur dans un environnement (sonore et visuel) numériquement simulé sans autre intégration d’objets.
Dès lors, certains casques et lunettes, tels que le dispositif Magic Leap®, proposent uniquement des expériences en réalité augmentée ; d’autres dispositifs comme le HTC Vive® sont exclusivement destinés à des expériences de réalité virtuelle quand l’Apple Vision Pro® permet à l’utilisateur de vivre des expériences mixtes.
La VR selon Fuchs et Moreau
À ce jour, très peu de chercheurs français ont consacré leurs travaux à la réalité virtuelle. Parmi les pionniers, on retrouve Fuchs, Moreau, Berthoz et Vercher qui, en 2000 et 2003, ont publié un ouvrage collectif en 5 volumes : Le traité de la réalité virtuelle. Selon les auteurs, la réalité virtuelle est
un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel, le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire de canaux sensorimoteurs. (Fuchs et al. 2006, p. 8)3
« Simulation », « interaction », « immersion », « sensori-motricité », tels sont les mots-clefs de cette définition qui tendent ainsi à présenter la réalité virtuelle comme un plan de l’expression construit selon un principe de mimétisme fonctionnel (notamment dans les dimensions spatio-temporelle et interactionnelle des objets) avec le monde réel et associé à un plan du contenu par la médiation de la sensori-motricité. À cet égard, Fuchs et Moreau précisent que la réalité virtuelle doit « permettre à une personne (ou à plusieurs) une activité sensori-motrice dans un monde artificiel, qui est soit imaginaire, soit symbolique, soit une simulation de certains aspects du monde réel » (2003, p. 6). La réalité virtuelle se présente donc comme un calque du monde naturel qui invite à une appréhension sensible et corporelle qui ne va pas sans rappeler la sémiose corporelle formulée par Jacques Fontanille (1999) et selon laquelle le monde sensible ne peut accéder à la signification sans la médiation la sensori-motricité.
C’est ainsi que nous proposons de nous tourner vers ce processus de conversion du monde naturel en monde virtuel afin de comprendre comment opèrent les développeurs pour créer cet effet du vivant dans leurs interfaces numériques.
Du monde naturel à la réalité virtuelle
Parcours sémiosique de la simulation du monde
Ainsi, nous envisageons ce processus de création comme un parcours de conversion de sémioses qui, orienté de la perception du monde naturel vers l’expérience de ce monde artificiel, est assimilable au complexe intersémiosique que nous avions élaboré dans nos précédents travaux sur la perception (Moutat 2015).
En effet, nous avions montré que la mise en discours de la perception articule trois sémioses4 :
- La sémiose perceptive qui correspond à l’instance perceptive au cours de laquelle le sujet percevant entre en contact avec les objets sensible du monde. Ainsi que l’a montré Jean-François Bordron (2002), le plan de l’expression est l’ensemble des structures iconiques qui signifie, sur le plan du contenu, les variations intentionnelles du sujet percevant.
- Les esthésies textuelles, lesquelles procèdent à une mise en discours du perçu. C’est ici que se met en place la perception discursive qui, selon Ouellet (2000, p. 24) se définit comme « la manière dont nous nous représentons les formes et les contenus de l’expérience sensible à travers les formes et les contenus d’une pratique discursive donnée ». Ainsi, le plan d’expression incarne des mouvements énonciatifs de l’énonciateur corrélés aux tensions isotopiques du discours dans le but de signifier les variations noétiques du sujet engagées lors de la sémiose perceptive.
- La sémiose interprétante au cours de laquelle l’énonciataire engage un travail interprétatif qui lui permet d’appréhender, et de percevoir autrement, les propriétés sensibles ainsi décrites. Le plan de l’expression est celui des esthésies, où les mouvements énonciatifs de l’énonciateur et les tensions méréologiques des isotopies du discours signifient les variations tensives de l’icône, corrélées aux variations intentionnelles du sujet lors de la sémiose perceptive.
Dès lors, dans le cas de l’écriture des mondes numériques, ce processus est relativement similaire à la différence près que les procédures de mise en discours relèvent de langages différents. Une autre particularité peut être soulevée ici : si l’intention des développeurs est de faire vivre aux sujets des expériences sensibles, émotionnelles, cognitives et pragmatiques du monde en VR qu’ils créent, leur objectif est également de re-produire (autrement dit produire une nouvelle fois, « produire une copie, une nouvelle version » de façon itérative) les effets du monde réel, l’énergie du vivant.
Textualisation des pratiques et plans d’immanence
C’est de cette reproduction ou simulation dont il est question dans ce présent article. Afin d’étudier la manière dont elle opère, nous fonderons notre méthodologie sur les niveaux de pertinence sémiotique (Fontanille 2007) enrichis par les apports de Maria Giulia Dondero (2019) sur la textualisation des pratiques. Rappelons ainsi que Jacques Fontanille (Ibid.) distingue entre six niveaux de pertinence, lesquels engagent six expériences différentes : il s’agit des 1. Signes (figurativité), 2. Textes-énoncés (cohérence et cohésion interprétatives), 3. Objets (corporéité), 4. Scènes prédicatives (pratiques), 5. Stratégies (conjonctures), 6. Formes de vie (Ethos). À ce titre, Dondero soulève que cette chaîne de production de plans d’imminence ne distingue pas le rôle d’intermédiaire joué par les textualisations et les notations des pratiques dans l’analyse des actions ; et cela parce que le corpus analysé par Fontanille est un ensemble de récits de pratiques et non des pratiques elles-mêmes. Elle propose ainsi de les considérer dans le but de procéder à une schématisation de la pratique.
Dans notre cas, si nous proposons de nous appuyer sur les travaux de Dondero, notre objectif est quelque peu différent du sien. En effet, nous souhaitons partir des textualisations des pratiques des développeurs 3D dans le but d’identifier les mécanismes d’écriture à l’œuvre dans la simulation d’objets naturels, et plus spécifiquement de leur dynamique interne qui les rend vivants. Explicitons ce point.
Si nous reprenons les niveaux de pertinence fontaniliens, nous constatons que la pratique d’écriture d’un objet 3D destiné à être intégré dans un monde numérique procède à une configuration de signes en textes, lesquels ne seront pas intégrés dans des objets car ils sont les objets eux-mêmes. En effet, en écriture multimédia, rappelons que le code-source d’un objet numérique, c’est précisément le langage qui permet de le configurer. En ce sens, un objet numérique présente deux faces : une face textuelle, qui correspond au code source écrit par le développeur, et une face visuelle, qui correspond au résultat obtenu par conversion du texte en image dans le navigateur. Par textualisations, nous entendons ici les cours, les textes de vulgarisation ou encore les articles produits par ces développeurs, enseignants-chercheurs en informatique. Ainsi, ces textualisations, situées à un niveau n+1, permettent de rendre compte de la pratique en acte (niveau n de l’écriture proprement dite) mais également d’identifier les modes de construction des textes, et plus particulièrement la manière dont ces textes configurent les objets visuels en 3D intégrés dans les mondes numériques.
Notre entreprise revient donc à étudier l’articulation des formes et substances des plans de l’expression des sémioses perceptive et discursive engagées dans cette simulation. Il s’agira de comprendre comment une forme de l’expression naturelle se convertit en une forme d’expression virtuelle dans le but d’identifier la structure phénoménale simulée. En d’autres termes, nous analyserons les stratégies à l’œuvre dans l’écriture numérique de ces mondes.
Pour ce faire, nous limiterons notre champ d’investigation aux phénomènes aquatiques. En effet, notons que la simulation du monde naturel fait appel à des spécialités particulières de la part des développeurs : certains vont ainsi consacrer leurs travaux à la simulation de l’eau, d’autres à celle de l’herbe ou encore à celles du feu, de la glace ou de la terre, etc. Car au sein de chaque catégorie de cette typologie, il existe une grande variété d’occurrences : la simulation de l’eau, par exemple, peut concerner la pluie, des vagues en surface de la mer, un écoulement, un ruissellement… Une diversité telle qu’elle implique à chaque fois un long travail de recherche et des techniques différentes pour parvenir à une simulation la plus optimale et la plus réaliste possible.
Simuler le vivant. Le cas des phénomènes aquatiques
Présentation du corpus
Notre corpus est constitué d’un ensemble de textes et d’enregistrements. Ainsi que nous l’avons évoqué un peu plus haut, ces textes sont généralement des articles scientifiques ou encore des documents de vulgarisation et des cours destinés aux étudiants en informatique 3D. Quant aux enregistrements, ce sont soit des vidéos postées en ligne, soit plus spécifiquement des captations d’entretiens avec des développeurs 3D.
Pour les besoins de cet article, nous nous sommes focalisée sur des cours et entretiens avec un professeur en informatique, spécialisé dans le développement d’images, et notamment la reproduction de phénomènes naturels tels que les fluides. C’est de la simulation en 3D des fluides pour la réalité virtuelle dont il sera question. Ainsi avons-nous immédiatement remarqué que ce type de simulation, à la différence de certains autres types de représentation, vise une approche que nous pourrions qualifier à la fois d’atomistique et de « noématique ». Précisons ce point.
Re-présenter les phénomènes aquatiques par sélection et simplification noématiques
Les techniques de simulation reposent avant toute chose sur des stratégies de sélection noématique. En effet, tous les noèmes d’un même phénomène n’ont pas besoin d’être reproduits. Ainsi que le note Benoit Crespin, Professeur en informatique au laboratoire Xlim de l’Université de Limoges, lorsque l’on crée un monde en 3D, il existe énormément d’échelles différentes, à la fois en temps et en taille. Tout dépend du phénomène que l’on souhaite représenter. Dès lors, le travail de simulation va opérer des simplifications par équation, simplification dans le choix du (ou des) noème(s) à reproduire mais également dans le but d’optimiser le calcul en temps réel des images créées. Pour ce qui est de l’échelle en taille, il concerne le type de phénomène à simuler : s’agit-il des gouttes d’eau présentes dans une vague déferlante, de la vague elle-même ou bien la surface d’un océan à l’échelle de la planète ?
De ces sélection et simplification noématiques résultent des techniques de simulation différentes :
- Un modèle surfacier qui consiste à simuler la surface de l’eau, vue de loin par un observateur lambda. Cette technique simplifie la représentation en ne simulant que la surface de l’eau, sans représenter ce qui se trouve en-dessous. Elle n’intègre pas non plus de vague déferlante.
- Les systèmes de particules qui prennent en considération la méréologie du fluide entendu comme un matériau granulaire. Partant du modèle de l’astrophysicien Hubert Reeves (1981), il s’agit de déterminer le nombre optimal de particules à représenter pour que l’effet de réalité opère chez l’observateur. En effet, l’œil humain n’est pas capable de percevoir toutes les particules d’eau présentes dans une vaguelette ou un écoulement. Il existe donc un seuil d’acceptabilité en deçà duquel le phénomène simulé n’est pas considéré comme réaliste. Les informaticiens procèdent sans arrêt à des approximations en « trichant » avec la réalité dans le but de produire un résultat plausible qui ménage le coût des calculs de la machine. Si cette méthode de simulation repose sur des règles de la perception humaine, elle s’appuie également sur les intentions des sujets. Par exemple, dans le cas d’un jeu vidéo, le concepteur se focalise davantage sur la finalité du joueur et non nécessairement sur l’aspect hyper-réaliste du jeu. Il s’agit ainsi de travailler la réactivité dans l’enchaînement des images. De nouveau, la quantité de particules constitutives du noème connaîtra des variations en raison de l’horizon de visée (Bordron 2002) du sujet percevant (et agissant en l’occurrence).
On constate alors que cette seconde technique de représentation est fortement liée à l’échelle temporelle, laquelle concerne la dynamique de l’objet simulé. Si l’on prend de nouveau l’exemple du jeu vidéo, tout doit se passer en temps réel, c’est-à-dire que la machine doit immédiatement réagir à l’action du joueur. L’image doit donc être calculée très rapidement de sorte à ce qu’aucune saccade ne soit alors perçue par le joueur.
En un sens, on pourrait être tentée de penser que la simulation opérée par la 3D ne porte pas tant sur le monde biologique et physique que sur le monde phénoménal. En effet, les développeurs ne re-produisent pas l’ontologie matérielle du monde mais la manière dont le monde se manifeste comme phénomène aux sens du sujet humain, à travers ses noèmes ou icônes (Bordron 2011). Mieux, il semblerait que ce soit des rapports perceptifs entre sources et cibles qui fassent l’objet de la simulation ; autrement dit, des sémioses perceptives où les configurations noématiques d’un plan de l’expression prescrivent des mouvements perceptifs eux-mêmes modulés par un horizon de visée sur le plan du contenu.
En effet, les techniques de simulation que nous venons d’évoquer reposent fondamentalement sur des stratégies de réglage modal (Fontanille 1989) entre une source et une cible de l’acte de vision car elles prennent en considération un point de vue mais s’appuient également sur le faillibilisme des sens : en effet, rappelons que la limite basse de diffusion pour l’œil d’un humain est de 24 images par seconde. En-dessous de 24 images, le système rétinex (Groupe μ 2015) peut percevoir chaque image individuellement. Au-delà de 24, un sujet humain ne voit pas les transitions entre les images sachant toutefois que plus l’on crée d’images par seconde plus il percevra de fluidité. Cela signifie que, lors de la création d’un jeu vidéo, une nouvelle image doit apparaître toutes les 1/24èmes de seconde. Et lorsqu’il s’agit de création d’images destinées à être perçues en situation de VR, ce sont deux images qui sont alors créées, une pour chaque œil, avec une position très proche l’une de l’autre, en changeant légèrement l’emplacement simulé de la caméra. Les développeurs doivent donc faire coïncider les contraintes de la création visuelle avec les contraintes techniques nécessaires au calcul de ces images par la machine.
La simulation, conjonction d’une armature iconique et d’un habillage graphique
Par ailleurs, la simulation de ce monde vivant et, par conséquent, dynamique, s’effectue à deux niveaux, chacun correspondant à un type de mimétisme : un mimétisme fonctionnel et un mimétisme figuratif. Le premier concerne le mouvement du phénomène tandis que le second détermine son apparence.
- Nous avons vu que la technique de simulation fondée sur les systèmes de particules
présente une dimension temporelle : les calculs de la simulation doivent en effet
prédire le mouvement de chaque particule.
Une vague déferlante se compose d’un nombre considérable de particules d’eau en mouvement. Simuler un tel phénomène vivant requiert ainsi une règle de calcul pour chaque particule ; cette règle permettant de déterminer les forces de chaque particule, puis l’accélération à partir des forces. C’est ainsi qu’il est possible de mettre au jour la vélocité de chaque particule du phénomène simulé et de déterminer leur position dans l’espace.
Les fluides sont donc des matériaux granulaires, composés de différents éléments qui interagissent les uns avec les autres au sein d’un mouvement global. Nous reviendrons sur ce point un peu plus loin. Il existe donc un algorithme de base, adaptable selon les situations (s’il y a du vent par exemple), grâce auquel on peut faire interagir des milliers d’éléments ensemble. - Le second calcul qui intervient dans la simulation de ces phénomènes vivants, c’est
le calcul d’affichage, ou calcul de rendu, qui, comme son nom l’indique, permet d’afficher
les objets simulés à l’écran.
Ce nouveau calcul est un codage qui consiste à créer des images à partir du mouvement. Ce calcul peut s’effectuer grâce à un logiciel de rendu, type Blender®, ou dans un navigateur (notamment lorsque les éléments 3D sont créés avec une librairie JavaScript Three.js).
En ce sens, nous pouvons dire que le calcul du mouvement permet de simuler le « squelette » du phénomène, tandis que le calcul de rendu permet de simuler son habillage graphique. Ces deux types de mimétisme ne vont pas sans rappeler les résultats que nous avons obtenus à l’issue de nos travaux sur la mise en discours des perceptions dans les commentaires de dégustation des vins (Moutat 2015). En effet, nous avions relevé l’existence d’une telle dichotomie manifestée par la coexistence de deux types de lexiques : un lexique structurel, déterminant la morphologie d’ensemble de la bouche du vin, et un lexique aromatique qui correspond aux substances rétro-olfactives greffées sur cette structure. On observe donc de nouveau une organisation sensiblement semblable : une configuration d’ensemble du phénomène et un habillage figuratif. Concentrons-nous à présent sur cette structure régie par une dynamique de flux.
Une armature iconique régie par une dynamique de flux
Lorsqu’on regarde une vague déferlante réalisée en 3D pour un film d’animation5, nous observons son mouvement, sa dynamique, les reflets sur l’eau, l’écume et parfois même un bouquet (autrement dit les effets de lumière et halos dus à la caméra simulée). Une vague déferlante est donc un fluide qui connaît des effets de pression, de congestion, mis en évidence par la mécanique des fluides : lorsque la pression augmente, le fluide va avoir tendance à accélérer, lorsque la pression diminue, le fluide ralentit. C’est un principe commun à des phénomènes pourtant en apparence très différents les uns des autres (une vague, un troupeau de moutons, une émanation de fumée, etc.).
Ce mouvement global exercé par un fluide résulte des comportements locaux des différentes particules qui le constituent : en effet, différents corps en mouvement interagissent les uns avec les autres et conditionnent le comportement global du fluide. Ce flux énergétique global incarne ainsi une tension interne qui fait osciller son tempo entre accélération et ralentissement, lequel est lui-même déterminé par le tempo et la tonicité des comportements locaux des particules qui le constituent. Ces modulations internes peuvent être concordantes ou discordantes, rendant le flux parfois instable.
L’armature iconique6 de la vague déferlante met en corrélation étroite les catégories de la qualité (notamment la tonicité et le tempo de l’intensité) et de la quantité (densité). La célérité et l’orientation du mouvement global dépend du nombre de particules et de leur comportement respectif.
En outre, chacun de ces éléments constitutifs du flux global est déterminé par une masse respective (laquelle relève également de la densité de la matière) mais également des propriétés spatiales (position sur les axes x,y,z), une taille ou encore orientation qui renvoient à la catégorie de la forme (et notamment aux sous-catégories de l’extension et de la direction).
Toutefois, ce que cette armature iconique ne montre pas, ce sont forces extérieures que subit chaque particule du flux, ces forces provenant de la gravité ou des objets extérieurs (parois, falaises, rochers…). En effet, si nous portons notre attention à la surface d’un fluide telle que celle d’un océan par exemple, l’air appuie sur l’eau (c’est ce qu’on appelle la pression atmosphérique) car il est poussé vers le bas par la loi de la gravité. Les molécules du fluide en surface doivent se tenir les unes aux autres pour résister à cette pression. C’est pourquoi la surface de l’eau est souvent très lisse. Les molécules se répartissent le poids les unes par rapport aux autres. Quant à la vague déferlante, sa forme et sa force sont est liées à la géométrie du fond de l’eau mais également à l’attraction lunaire. Le phénomène des marées donne une certaine vélocité à l’océan et lorsque l’eau se rapproche des côtes, il se produit un effet de compression tel que, pour résister, l’eau n’a pas d’autre choix que de monter ; d’où la vague.
On constate donc que la dynamique du flux du phénomène repose tant sur sa méréologie interne que sur l’action d’actants de contrôle qui en modélisent l’apparaître. En l’occurrence, ils permettent d’activer les sous-catégories de la répartition et de la disposition.
C’est sur la base de cette armature phénoménale que les calculs de rendus permettent ensuite de modéliser l’apparence du phénomène en termes de formes, de luminosité et de texture. C’est grâce à ces calculs qu’il est possible de visualiser une vague déferlante. Nous pouvons ainsi observer les changements de texture de l’eau, un élargissement de l’écoulement, des bouillons ou encore des effets de réfraction si un objet est immergé dans la vague. Il s’agit là d’une nouvelle loi de physique sur laquelle s’appuient les développeurs pour simuler les phénomènes aquatiques.
Conclusion
À l’issue de nos premières analyses des techniques d’écriture adoptées par les développeurs dans la simulation des phénomènes naturels, nous constatons que les méthodes de calculs engagées reposent sur des lois physiques et mathématiques qui régissent notre propre monde physique : à savoir la loi de la gravitation de Newton, la théorie de la relativité de Einstein, la mécanique quantique de Planck ou encore les équations de Fresnel, etc. Dès lors, c’est fondamentalement à partir de ce même soubassement physique et mathématique que se construisent les mondes naturel et numériques. Leur apparaître phénoménal connaît ensuite quelques variations noématiques liées à leur plan d’expression respectif.
De nouveau, nos recherches convergent vers les travaux morphodynamiques menés par Jean Petitot (1985) à partir des travaux de René Thom (1972). Explicitons ce point.
Selon Jean Petitot, la sémiotique peut être conçue comme une « science structurale naturelle appartenant à des sciences naturelles élargies » (Petitot 1996, p. 65). Elle se présente ainsi comme une « science explicative et mathématisée d’un niveau de réalité émergent, fondé dans des niveaux de réalité sous-jacents, en particulier, pour une sémiotique du monde naturel, ceux du monde et de la nature qui font l’objet d’autres sciences que la sémiotique » (Ibid.). Dans ce cadre, les phénomènes qui se manifestent sous la forme de morphologies spatio-temporelles dans le monde sensible se présentent comme le corrélat des « accidents » de la matière du monde physique.
À partir des travaux de Ray Jackendoff (1983), Petitot a ainsi mis en exergue le principe de la double émergence et de la double organisation du monde naturel dont une version simplifiée est présentée en figure 8. Le sémioticien montre ainsi que le monde naturel (noté MN) s’organise en monde réel (noté MR) et en monde projeté (noté MP). Le premier correspond à au monde de l’ontologie matérielle, de nature physique et mathématique, tandis que le second est le monde phénoménal, celui de l’expérience vécue. Toutefois, Petitot précise que le monde projeté ne se réduit pas à une simple perception mais qu’il intègre également l’investissement cognitif du sujet, opéré par sa structure conceptuelle (notée SC) à partir de l’objectivité physique du monde réel.
Petitot souligne également le rôle des processus physiques d’auto-organisation dans la structure morphologique du monde extérieur. Cette organisation se présente comme le corrélat phénoménal de la matière qui se déploie selon trois niveaux (Petitot 1989) : 1) Le niveau « géno-physique », correspondant aux ondes lumineuses, sonores, etc. (spectre électromagnétique, spectre électroacoustique par exemples), 2) Le niveau « phéno-physique » des morphologies, lequel émerge du précédent (couleurs, notes de musique selon nos exemples) et 3) Le niveau des mouvements des objets dans l’espace tridimensionnel – et dans le temps ajoutons-nous (variations tonales de couleurs, rythme des notes de musique).
Nous observons donc ici que les techniques de simulation que nous venons de présenter suivent exactement le même parcours que celui de l’émergence du monde naturel : les morphologies d’ordre « phéno-physiques » du monde réel d’une part et du monde simulé d’autre part, trouvent toutes deux leur point d’effectuation dans le monde réel « géno-physique ».
De ce fait, si nous revenons à notre enchaînement de sémioses proposé en figure 2, nous constatons que les techniques de simulation opèrent une conversion de la sémiose perceptive (du monde réel) en une seconde sémiose perceptive (du monde virtuel) par l’intermédiaire des algorithmes et des langages de programmation. Dans ce cadre, ces deux sémioses voient leur plan de l’expression respectif s’articuler à partir de la même matière. Leur différence tient en un changement de substance de l’expression et de l’agentivité engagée dans cette conversion de la matière en substance de l’expression. Nous voici donc confrontée à une difficulté que nous avons par ailleurs relevée (Moutat 2020), à savoir celle d’une révision nécessaire de l’articulation entre la matière et la substance, au regard des spécificités des pratiques d’écriture des médias numériques.
En effet, de nouvelles questions émergent ici : dans la mesure où le monde réel « géno-physique » et les mondes numériques environnementaux en 3D et VR se fondent exactement sur les mêmes lois physiques et mathématiques, peut-on encore maintenir la frontière qui les séparent ? Comment la bifurcation de deux substances de l’expression opère-t-elle à partir d’un même substrat physique ? Dans ce cadre, peut-on considérer les mondes numériques comme de simples variants ou dérivés du monde naturel qui se distinguent de ce dernier par la sélection noématique effectuée par l’agent qui l’a construit ?
Ainsi, à défaut de conclure notre réflexion, nous proposons au contraire d’en ouvrir les perspectives par une petite provocation que nous devons aux artistes qui ont relevé le lien entre numérique et sacré. Dans la mesure où nous défendons l’hypothèse selon laquelle le monde naturel et les mondes numériques ne seraient que des bifurcations phénoménales opérées à partir d’un même substrat physique, l’un relevant du Créateur et les autres de développeurs, ne devrions-nous pas finalement considérer que Dieu est un concepteur de jeux vidéo ? Et que le caractère vivant du monde réel n’est qu’une simulation réalisée à partir de calculs mathématiques ? Dès lors, une étude approfondie des sémioses engagées dans les techniques de simulation s’avère fondamentale à plus d’un titre : elle permettra non seulement de comprendre comment les mondes numériques se configurent en objets de signification, mais également d’ouvrir de nouvelles opportunités pour la sémiotique en mettant au défi certains de ses concepts et outils.
Bibliographie
Bordron Jean-François, 2002, « Perception et énonciation dans l’expérience gustative. L’exemple de la dégustation d’un vin », dans Hénault Anne (éd.), Questions de sémiotique, Paris, PUF, p. 639-665.
Bordron Jean-François, 2009, « Métamorphoses et identités », dans Colas-Blaise Marion et Beyaert-Geslin Anne (éd.), Le sens de la métamorphose, Limoges, Pulim, p. 49-62.
Bordron Jean-François, 2011, L’iconicité et ses images, Paris, PUF.
Dondero Maria Giulia, 2009, « Sémiotique de l’action : textualisation et notation », dans Zinna Alessandro et Ruiz Moreno Luisa (éd.), L’immanence en jeu, Toulouse, éditions CAMS/O, collection Études, p. 323-344.
Fontanille Jacques, 1989, Les espaces subjectifs. Introduction à la sémiotique de l’observateur, Paris, Hachette.
Fontanille Jacques, 1999, « Modes du sensible et syntaxe figurative », Nouveaux Actes Sémiotiques, n° 61-62-63, Limoges, Pulim.
Fontanille Jacques, 2007, « Textes, objets, situations et formes de vie. Les niveaux de pertinence du plan de l’expression dans une sémiotique des cultures », dans Bertrand Denis et Costantini Michel (éd.), Transversalité du Sens, Paris, PUV, p. 213-240 ; [https://books.openedition.org/puv/5828] (consulté le 8/01/2026).
Fuchs Philippe, Moreau Guillaume et al., 2006, Le traité de la réalité virtuelle, Paris, Les Presses des Mines.
Gilson Étienne, 1931, L’esprit de la philosophie médiévale, Paris, J. Vrin.
Groupe µ, 2015, Principia semiotica. Aux sources du sens, Bruxelles, Les Impressions Nouvelles.
Jackendoff Ray, 1983, Semantics and Cognition, Cambridge, MASS, MIT Press.
Lallemand Carine et Gronier Guillaume, 2015, Méthodes design UX : 30 méthodes fondamentales pour concevoir et évaluer les systèmes interactifs, Paris, Eyrolles.
Milgram Paul, Takemura Haruo, Utsumi Akira et Kishino Fumio, 1994, “Augmented Reality: A class of displays on the reality-virtuality continuum”, SPIE, 2351, p. 282-292.
Moutat Audrey, 2015, Du sensible à l’intelligible. Pour une sémiotique de la perception, Limoges, Lambert-Lucas.
Moutat Audrey, 2019, Son et sens, Liège, Pulg.
Moutat Audrey, 2020, « Écriture et matérialité numérique, de la substance aux formes de l’expression », Semen, n° 49 ; [https://journals.openedition.org/semen/14475#tocto1n4] (consulté le 8/01/2026).
Norman Donald, 1988, The Design of Everyday Things, New York, Basic books.
Norman Donald, 2004, Emotional Design: Why We Love (or Hate) Everyday Things, New York, Basic books.
Norman Donald, 2007, The design of future things, New York, Basic books.
Norman Donald, 2010, Living with complexity, Cambridge, Massachusetts, The MIT Press.
Ouellet Pierre, 2000, Poétique du regard. Littérature, perception, identité, Limoges, Pulim.
Petitot Jean, 1985, Morphogenèse du sens, Paris, PUF, 1985.
Petitot Jean, 1996, « Les modèles morphodynamiques en perception visuelle », Visio, vol. 1, 1, p. 65-73.
Petitot Jean, 1989, « Perception, cognition et objectivité morphologique », dans McAdams Stephen et Deliège Irène (éd.), La Musique et les sciences cognitives, Liège, Bruxelles, Mardaga, p. 243-255.
Pignier Nicole et Drouillat Benoît, 2005, Penser le webdesign : modèles sémiotiques pour les projets multimédias, Paris, L’Harmattan.
Pignier Nicole et Drouillat Benoît, 2008, Le webdesign : Sociale expérience des interfaces web, Paris, Hermès Lavoisier.
Reeves Hubert, 1981, Patience dans l’azur : L’évolution cosmique, Paris, Éditions du Seuil.
Vial Stéphane, 2010, Court traité du design, Paris, PUF.
Vial Stéphane, 2013, L’être et l’écran. Comment le numérique change la perception, Paris, PUF.
Thom René, 1972, Stabilité structurelle et morphogenèse, New York, Benjamin, Paris, Ediscience.
Zilberberg Claude, 2002, « Précis de grammaire tensive », dans Chassay Jean-François (éd.), La science des écrivains, Tangence, n° 70, Presses de l’Université du Québec, p. 111-143.
Notes
- Nous faisons ici référence aux travaux menés par Reyes, Dondero, Catellani, D’Armenio, Châtenet, Biggio, Leone, Giuliana.
- En effet, ainsi que le note Reyes (2019), « certains chercheurs en SIC ont commencé à prendre en compte la théorisation des outils et les méthodes numériques, la dimension communicationnelle de l’usager, les dispositifs techniques comme agents de médiation et l’espace physique où se déroulent les manipulations ». Everardo Reyes est lui-même l’un des premiers chercheurs à s’être questionné sur « l’expression des réalisations numériques ».
- C’est nous qui soulignons.
- Nous ne pouvons revenir en détails sur le fonctionnement de cette articulation de sémioses dans le cadre de cet article. Pour plus de précisions, voir Moutat (2015).
- Nous pensons notamment au film Les rois de la glisse réalisé en 2007 par Ash Brannon et Chris Buck (Sony Pictures).
- Pour plus de précisions sur l’iconicité, voir Bordron (2011) et Moutat (2015, 2019).
