À la croisée de l’art, des neurosciences et des technologies immersives, Nathalie Delprat explore depuis plus de dix ans ce que les images virtuelles font à notre perception du corps, à notre imaginaire et jusqu’au sentiment même de notre existence. Dans ce texte dense et singulier, publié dans la revue PLASTIR*, l’enseignante-chercheure et artiste revient sur ses expérimentations autour des « avatars-nuages » : des dispositifs interactifs où le corps se transforme en vapeur, en pluie, en matière mouvante, brouillant les frontières entre sensation physique, émotion et rêverie. Convoquant les travaux tant de Gaston Bachelard, que d’Antonio Damasio, elle défend une approche transdisciplinaire de la recherche, où l’expérience sensible devient un véritable outil de connaissance. Une réflexion passionnante sur les puissances poétiques du virtuel et sur ce que les technologies pourraient encore révéler de notre humanité. Ce texte est publié dans le cadre du partenariat avec PLASTIR et des festivités textuelles lancées pour les 17 ans d’ArtsHebdoMédias : « La matière en sait plus que nous ».
Devenir un nuage – Par hasard et sans nécessité
C’est à l’occasion d’un projet exploratoire art-science sur les liens entre simulation numérique et matérialité que j’ai été amenée à m’intéresser à la représentation virtuelle des matières (1). Bien qu’ayant déjà travaillé sur la modélisation des fluides en physique, je connaissais peu les domaines concernés par le développement de dispositifs interactifs et immersifs permettant d’hybrider numériquement le corps avec des matières comme par exemple lorsqu’une personne vient perturber un panache de vapeur en le traversant dans un environnement virtuel ou en le dispersant avec sa main sur une table tactile. Dans ce contexte ouvert et prospectif, j’ai choisi d’inverser la perspective en concevant une représentation virtuelle du corps qui ait les propriétés physiques et dynamiques d’un nuage et de découvrir comment cette transformation pouvait affecter les modalités d’interaction avec l’image, nos déplacements ou notre ressenti corporel et émotionnel.
D’abord développée à la marge et par intermittence, cette exploration a largement dépassé les frontières du projet initial en ouvrant de multiples pistes toujours en chantier une dizaine d’années plus tard. Le dernier dispositif (2) mis en œuvre offre une palette élargie de matières élémentaires, d’effets visuels et sonores. En plus de différents types de nuages (3), il est possible d’éprouver son corps en flamme, bulle d’eau ou gouttelettes pluie et d’expérimenter ainsi des représentations très proches de la forme humaine ou totalement abstraites, enveloppantes ou trouées qui vont se modifier en fonction des mouvements de la personne et des qualités de la matière.
Un protocole spécifique a été mis en place avec les avatars-nuage afin d’analyser le vécu de l’expérience à partir d’entretiens et de questionnaires (4). Même s’il est parfois difficile de mettre en mots des sensations brèves, diffuses ou jamais rencontrées, les résultats confirment que les ressentis ont des caractéristiques bien définies selon le type de matière et les effets appliqués (vent, son, couleur). Cela peut aller de l’impression agréable de voler, de légèreté dans le haut du corps à celle plus surprenante de ne plus être contenu ou l’illusion de ressentir la matière bouger à l’intérieur de soi. Il y a aussi les témoignages de sensations apaisantes de chaleur, de picotements dans la nuque et les mains ou de sentiments déstabilisants de corps qui se vide, qui se morcelle. Une minorité de personnes rapporte même le sentiment plus angoissant de fragmentation ou de dilution de leur moi.
« j’avais l’impression de me faire effacer. Je ne sais pas c’était un peu bizarre. Comme si ça figeait un moment où j’avais été et puis qu’après, ça l’effaçait »
« il y avait une sorte d’aspect comme si c’était l’intérieur du corps, enfin bien sûr j’extrapole, mais comme si on mettait à nu que le corps c’est du mouvement »
« j’avais l’impression de ne pas exister, de ne pas avoir de matière, […] je n’étais que du vent »
« c’est vraiment quelque chose où on se disloque un peu, c’est assez étrange […] quelque chose qui m’échappe comme si je perdais des bouts de mon être, des lambeaux de mon être qui s’en vont […] c’était au-delà juste de l’idée du corps, c’était comme si je perdais des bouts de moi en fait […] »
« j’avais l’impression d’être découpée, qu’il y avait ma tête qui n’était pas en lien avec mon corps qui n’était pas en lien avec les bras, d’être vraiment morcelée. […] je ne me sentais pas coupée physiquement mais psychiquement je ne sentais plus vraiment mes bras, mes jambes même si je sais que je marchais toute entière. »
« je ne pense pas avoir une sensation de variation de densité de mon corps. C’est plus quelque chose à l’intérieur. J’ai plus le sentiment de projection de ma personne mais presque pas matérielle justement ».
Extraits d’entretiens, enregistrement Nathalie Delprat
Faire l’expérience d’une nouvelle matérialité corporelle ne se résume pas à un simple jeu de mutations formelles, d’illusions perceptives ou de projections immersives dans un monde fictif. Devenir un nuage éthéré, filant, flottant ou compact nous engage intimement dans l’appropriation (l’incarnation) de sa plasticité originelle. La déformation continue, lente ou soudaine de ses frontières et leur possible effacement peut même troubler le sentiment des limites corporelles jusqu’à impacter l’ancrage éphémère et mouvant du sentiment de soi pendant quelques instants.
Comprendre ce qui se passe.
Avec quelle approche ? quels outils ?
La raison traversée – Toujours trop, jamais assez
Dès sa conception et au cours de son avancée, le projet a nécessité des incursions dans de nombreux champs disciplinaires (5) qui m’ont conduite à tenter de jeter de nouveaux ponts entre différents domaines pour m’aider à sauter le pas le plus loin possible. Il a toujours suscité de la curiosité, de l’intérêt, parfois de l’incompréhension ou de la perplexité et le plus souvent j’ai été mise au défi de comparer ses résultats inédits avec ceux d’expériences faisant consensus, ce qui fait partie de toute démarche scientifique.
Cette confrontation constructive a été bénéfique, me permettant d’élargir mes connaissances, de conforter certaines intuitions, d’argumenter des hypothèses mais représentait un travail considérable et excessivement long. La plupart du temps, je devais m’arrêter en chemin faute de ne pas rentrer dans les cases :
Trop empirique-artistique-singulier-fragile-original-conceptuel-complexe, pas assez théorique-scientifique-défini-justifiable-ciblé-exploitable-opératoire.
Dès la mise en œuvre des premiers dispositifs, j’ai constitué une banque de données sonores, visuelles et photographiques – un fonds de laboratoire/atelier – qui a autant nourri ma recherche scientifique que mes allers-retours dans le champ artistique à travers la création de vidéos, d’installations interactives, de carnets photographiques ou la collaboration avec des danseurs (6). Le projet n’aurait pu exister sans cet enrichissement mutuel et le changement de regard, alternatif et complémentaire, apporté par le geste créatif, en dehors de toutes contraintes de preuve, de reproductibilité, pour explorer les entrelacs complexes de la dimension poétique et esthétique de l’expérience.
Au-delà de ce besoin personnel de sortir du discours explicatif, rationnel, la rencontre avec des publics diversifiés lors d’expositions ou d’événements culturels donne accès à d’autres formulations, à de nouvelles interprétations (7). Elle densifie en quelque sorte le compte-rendu en y intégrant le partage du vécu émotionnel, le commentaire de celui qui regarde (et non pas seulement de celui qui participe) (8) dans une temporalité sans impératif et avec des formes d’expressions différentes.
Passer à travers, c’est l’enjeu de toute approche interdisciplinaire qui s’invente une voie. Ne conserver que ce qui est pertinent, ne pas s’alourdir d’un outillage conceptuel et technique trop spécialisé qui pourrait freiner le mouvement effectif de la pensée. Cela exige de la souplesse, de l’agilité, d’accepter l’incomplétude, l’approximatif, les erreurs et d’être constamment attentif à tout ce qui peut faire sens, ce qui peut être utile par un autre usage. Quiconque a pratiqué cet exercice sait que la fragilité de son équilibre instable est la plus grande promesse de faire émerger l’imprévisible, de définir à la marge un possible naissant, de saisir l’improbable, le non-comparable ou de n’aboutir à rien.
Déborder les catégories pour les penser en regard.
Jusqu’où peut-on aller ?
« […] en marge de la raison claire et de la conscience ou raison traversée. »
Extrait de Manifeste en langage clair, Antonin Artaud
La rêverie augmentée – Sans hasard et par nécessité
Si le projet a pu se transformer au fil du temps en un programme de recherche et création dans un laboratoire scientifique, c’est en premier lieu parce qu’il existait une thématique art-science (9) pouvant l’héberger et légitimer pour ainsi dire un sujet hors des normes en sciences de l’ingénierie (10). C’est aussi et surtout parce qu’il s’est constitué en réflexion avec une assise théorique qui n’a cessé de s’étoffer, de se diversifier au fur et à mesure des interrogations soulevées. A l’origine, il y a l’idée de mettre en perspective les travaux de Gaston Bachelard sur la rêverie des éléments avec les images virtuelles, c’est-à-dire de poser la question de la caractérisation des imaginaires liés aux matières fondamentales à partir de la matérialisation virtuelle du corps. En révélant d’emblée la part significative de la projection imaginaire du sujet dans l’image, les premiers entretiens recueillis à l’issue des passations ont montré l’intérêt et la pertinence de cette réactualisation, notamment ses potentialités dans l’étude des liens entre imaginaire, représentation du corps et sentiment de soi.
Prendre en compte cette dimension imaginative dans le cadre d’un protocole destiné à cerner l’appropriation d’un « nouveau » corps oblige à reconsidérer des notions centrales en réalité virtuelle, comme le sentiment de présence, d’immersion, ou d’engagement dans l’image et de les interroger autrement en termes de participation substantielle,d’adhésion intime à l’image ou d’action imaginante (11).
La démarche ne résulte pas en une simple illustration de concepts philosophiques (12) ou à la comparaison différentielle du détournement poétique d’un outil numérique (13). Elle introduit des décalages irréductibles :
– de la forme à la matière
– de l’hyper-réalisme au non-figuratif
– de la réalité à la matérialité
– du rêve à la rêverie
– de l’action à la contemplation
– du corps à l’enveloppe
– du tangible à la trace
créant de manière inattendue (en tout cas non préméditée) des fils d’évidence qu’il faut patiemment dérouler un à un pour construire à la volée une méthodologie, un dispositif, des protocoles, une approche ad hoc et plus si affinités. Ce travail nécessaire de clarification, en dialogue avec la rêverie poétique de Gaston Bachelard et accompagné des réflexions de théoriciens contemporains de l’image ou des médias virtuels (14), m’a permis de constituer un socle fécond pour le développement de ce que j’ai appelé le paradigme de rêverie augmentée (15).
rêverie – comme état de disponibilité active, une attention minimale
augmentée – comme augmentation sensorielle de l’imaginaire par la matérialisation virtuelle du corps.
Dans le processus dynamique de l’hybridation organique et imaginaire du corps à l’image, se dessine l’ouverture d’un espace poétique, un espace-substance qui agit comme un médiateur plastique (16), propice à l’accordage sensoriel et émotionnel avec la matière en constante évolution. De cette relation d’intimité qui s’invente des formes, s’amplifie ou s’évapore peut parfois émerger des sensorialités premières, des traces affectives, des émotions sédimentées, des bribes d’histoires incorporées ou le simple plaisir de se sentir exister.
Saisir ce qui échappe et trouver un mode opératoire.
Comment coopérer ?
Descriptif de l’expérience – Instructions
La salle est très sombre. Au sol une croix où il faut se placer pour le réglage initial. En face un grand écran, dans le dos à un mètre une caméra reliée à un ordinateur va capturer les mouvements et en extraire un squelette numérique. Aucun capteur sur le corps, pas de lunettes ni de casque. Dans la première séquence, il n’y pas de consigne particulière sauf d’éviter de sortir d’un rectangle signalé par des marques que l’on peut sentir sous ses pieds. Libre à vous d’occuper l’espace, de rester immobile ou de vous approcher de l’écran. Six avatars-nuage sont proposés pendant deux minutes chacun et vous êtes prévenu du changement avant la transition de l’un à l’autre. Le rendu graphique est calculé en temps-réel à partir d’un modèle de particules qui va simuler les différentes matières selon le paramétrage utilisé. C’est à la jonction des points du squelette que les particules sont diffusées, l’image projetée est donc totalement attachée à votre corps. Elle suit vos gestes mais il peut y avoir un décalage plus ou moins important selon les propriétés du nuage et les effets appliqués.
Dans un entretien informel d’une dizaine de minutes on vous demandera de vous remémorer les moments marquants, les différentes sensations, émotions ressenties et d’essayer de les décrire. Ensuite, une seconde séquence chorégraphiée simple à reproduire vous sera proposée, d’abord en gardant le corps fixe (seuls les bras vont bouger) puis en alternant mouvement et immobilité. Enfin, vous devrez vous déplacer rapidement dans un état relâché sans regarder l’écran puis vous replacer devant et attendre que votre avatar se reconstitue. La chorégraphie est répétée avec cinq nuages différents (17). Un nouvel entretien et un questionnaire viendront compléter le protocole. L’expérience dure environ une heure. A vous de jouer !
Sans limites – De l’intérieur
Quand on s’aventure sur des chemins de traverse, il n’est pas toujours facile de trouver la bonne distance pour rester à côté tout en créant des passerelles avec le déjà connu, d’établir des zones de repli pour « entamer » ce qui résiste et mettre en tension ce qui pourrait devenir une ligne de force. Comprendre ce que l’on fait et justifier pourquoi on le fait de cette manière et pas autrement, nécessite de débroussailler la pensée en cherchant des coïncidences, des mises en cohérence aussi dissimulées ou fragiles soient-elles.
C’est en m’intéressant aux représentations associées à des ressentis de forte intensité (18) que j’ai commencé à creuser la question centrale de l’effacement des limites corporelles. Il est normal de s’attendre à ce que l’identification avec une représentation virtuelle à l’enveloppe trouée, floue ou évanescente puisse troubler l’équilibre, désorienter par manque de repères ou créer des illusions perceptives. Ce qui interpelle, c’est la grande différence de ressentis entre des personnes qui vont être émotionnellement déstabilisées au point d’avoir des sentiments angoissants de vidage, de dilution, de morcellement du corps ou même de perte des bouts de leur moi (19) et celles (la grande majorité) qui décrivent des sentiments exaltants de joie, de puissance ou de liberté. C’est à l’aide de l’analyse des entretiens mais aussi de l’étude du langage corporel (20) que j’ai commencé à dégager des pistes pour comprendre quel type d’impact et à quel « endroit » la transformation dynamique et matérielle des frontières pouvait agir.
La synthèse des différents éléments liés au vécu de l’expérience sous forme de termes, d’expressions verbales a été très utile pour avancer ainsi que l’identification de sensations corporelles spécifiques. Par exemple, la présence dans certains cas de manifestations somatiques dites spontanées comme des fourmillements dans la paume des mains, des frissons dans le dos, des picotements dans la nuque ou une sensation de chaleur globale. Ces ressentis jugés agréables apparaissent lorsque la frontière virtuelle s’efface et que la situation corporelle devient floue (21). Ils sont la traduction d’une réassurance par l’organisme de l’existence de ses limites réelles de l’intérieur – dans l’épaisseur de la peau – et participent à la fabrication de l’image globale du corps par le cerveau (22).
Lorsque les personnes se sentent dans une situation inconfortable ou stressante, les mouvements d’évitement et les postures qu’elles adoptent (poings serrés, balancement du torse, tête baissée ou corps figé) fournissent d’autres marqueurs du vécu de la perception des états internes du corps. La qualité de ce vécu permet de savoir comment on se sent et de décrire ce que le neurologue et neuroscientifique Antonio Damasio appelle les sentiments d’arrière-plan sur lesquels s’ancrent les racines profondes du sentiment de soi (23). Leur tonalité générale peut osciller entre tension et relâchement, énergie et fatigue, légèreté ou lourdeur, aisance ou résistance (24). Ces mêmes couples de mots que j’avais déjà relevés pour caractériser l’ambivalence des ressentis, et d’autres mises en correspondances entre images et commentaires, ont apporté des indices supplémentaires sur le passage (fugace et étroit) que libère la matérialisation virtuelle des frontières corporelles vers l’intéroception (25).
Cette grille de lecture (26) m’a menée à faire l’hypothèse de l’efficience de l’expérience de rêverie augmentée pour focaliser l’attention sur les sentiments d’arrière-plans et les réponses émotionnelles qui vont en émerger lors de l’interaction avec le nuage, jusqu’à parfois perturber (ou renforcer) le sentiment même de soi. A la sensibilité intéroceptive la plus profonde (viscérale et chimique), s’ajoutent, dans la cartographie mentale du corps, les informations provenant de l’ossature et des muscles pour représenter l’enveloppe dynamique qui nous structure, nous soutient, nous donne une limite (27). Cette boucle corporelle peut être modifiée par des interférences comme des souvenirs perceptifs, des images formées par l’imagination ou des court-circuitages cérébraux (28) qui vont conduire à la simulation d’états qui ne correspondent pas à la réalité du corps – comme si on devenait le nuage par empathie avec la matière pendant un instant.
Une piste aventureuse d’un travail au long cours. Ailleurs, le spectre d’un problème difficile (29). A quelques encablures, la jonction entre l’imagination organique et le vieux monde intérieur (30).
Embarquer l’expérientiel avec l’expérimental et retendre la ligne.
(Le pragmatisme (31) de) l’art ou rien ?
Pour lire l’intégralité du texte de Nathalie Delprat, cliquez.
(1) S. Bianchini, N. Delprat, C. Jacquemin (Eds), Simulation technologique et matérialisation artistique – Une exploration transdisciplinaire arts-sciences, L’Harmattan, Paris, 2012.
(2) Développé avec Nicolas Ladevèze (LISN) dans le cadre du projet ELEMENTA qui a réuni 3 laboratoires CNRS (LISN, LMA, CGGG) et le Pôle National Supérieur de Danse de Marseille.
(3) Combiné ou pas à un effet de vent, contrôlé avec les mains, qui va déplacer ou disperser la matière dans l’espace.
(4) Le protocole expérimental et les résultats sont détaillés dans plusieurs textes disponibles sur Hal cf. Effacement virtuel des frontières corporelles et sentiment de soi dans l’expérience de l’avatar-nuage, Delprat 2019, Temporalités du virtuel et réalités du corps : de l’être nuageux aux doubles de Narcisse, Delprat 2016.
(5) En sciences de l’ingénierie – la réalité virtuelle et augmentée, l’interaction homme-machine – dans les domaines des neurosciences, de la psyché, des sciences humaines et de l’art.
(6) Comme dans le projet Biomorphisme où j’ai participé en tant que scientifique et artiste, Biomorphisme : Approches sensibles et conceptuelles des formes du vivant, D. Romand, J. Bernard, S. Pic, J. Arnaud (Eds), Naïma Editions, version numérique 2021 (livre 2023), Contribution artistique à l’exposition Biomorphisme à la Friche Belle de Mai, Delprat 2021 disponible sur Hal.
(7) Par exemple les retours spontanés et particulièrement pertinents d’enfants ou d’adolescents.
(8) J’ai commencé à travailler sur cet aspect avec la vidéo ECHO(S) et l’installation vidéo ECHO(S)II conçues pour le Festival Octobre Numérique à Arles en 2014, cf. Delprat 2016.
(9) La thématique VIDA, Virtualité interaction, Desig et Arts du LIMSI (devenu en 2021 LISN).
(10) Dans les années 2010, il existait peu d’axes art-science au sein d’une institution scientifique, cf. N. Delprat et C. Jacquemin, VIDA-Une thématique art-science dans un laboratoire de recherche scientifique. In Technique et Science Informatiques 32.3-4, 2013 ; N. Delprat, C. Jacquemin, C. d’Alessandro, Recherches arts-sciences au LIMSI-CNRS : conversation à trois voix, in Images Interactives: Arts, Sciences et Cultures du Visuel, J-P Fourmentraux (Ed.), Editions de la Lettre Volée, Bruxelles, 2016.
(11) Bachelard, termes extraits de L’air et les songes, 1943, La terre et les rêveries de la volonté, 1948.
(12) J’ai relu l’œuvre de Bachelard sur la poétique des éléments après avoir développé le premier dispositif. C’est donc a posteriori que les résonances entre sa proposition d’une phénoménologie de l’imaginaire et l’analyse du vécu de l’expérience sont apparues.
(13) Les artistes ont exploré la dimension imaginaire de la réalité virtuelle dès ses débuts (cf. par exemple les œuvres de C. Davies ou M. Benayoun) à la différence des recherches en ingénierie ou en neurosciences qui l’ont exclue.
(14) Notamment l’interprétation phénoménologique de ces images cf. entre autres, les travaux de V. Flüsser, L. Wiesing ou M. B.N. Hansen.
(15) Imagination matérielle et images virtuelles : la rêverie augmentée de l’être nuageux, Delprat 2014, texte disponible sur Hal.
(16) Bachelard, termes employés dans La poétique de l’espace (1957), L’eau et les rêves (1942) et dans La poétique de la rêverie (1960).
(17) Détails dans Delprat 2019.
(18) Comme le cirrus (abstrait) ou le stratus (enveloppant) avec vent.
(19) Sentiments qui peuvent même être encore plus forts lors de la seconde passation alors que l’effet de surprise n’intervient plus.
(20) L’expérience est filmée et le déplacement du squelette numérique est enregistré, il est donc possible d’analyser les gestes, la posture et les mouvements des personnes.
(21) Expression d’une participante à l’expérience, Delprat 2019.
(22) L’image en tant que cartographie globale des états du corps, cf. A. Damasio, L’ordre étrange des choses, chap. 5 et 6, Odile Jacob Poches, 2017.
(23) A. Damasio Ibid. et références de ses ouvrages antérieurs dans Delprat 2019.
(24) A. Damasio, L’autre moi-même, chap. 4, 2010.
(25) cf. Delprat 2019 et Delprat 2021 (sur Hal) Sentiment des limites et immersion imaginative dans l’expérience de Rêverie Augmentée : une approche biomorphique du corps virtuel, in Biomorphisme : Approches sensibles et conceptuelles des formes du vivant, Editions Naïma.
(26) Travaux de Damasio et d’autres chercheurs concernant le rôle de l’intéroception sur la représentation du moi, cf. références dans Delprat 2019 et Delprat 2021.
(27) Avec aussi les signaux extérioceptifs fournis par nos 5 sens
(28) « Boucle corporelle du comme si » que Damasio définit comme une variante du mécanisme des neurones miroirs, Spinoza avait raison, 2005
(29) DJ. Chalmers, Facing Up to the Problem of Consciousness, 1995
(30) Travail en cours sur les résonances entre la substantialisation des images (Bachelard) et les images de la chair (Damasio)
(31) J. Dewey, L’art comme expérience, 1934, Gallimard 2005
*La revue PLASTIR a pour ambition à la fois de constituer un fonds de recherche qui est régulièrement enrichi par les écrits et travaux de ses membres ou invités, mais également de faire peu à peu reconnaître le concept de plasticité. En effet, un trait commun aux nombreux auteurs utilisant le terme de plasticité est leur assignation purement métaphorique, ou au contraire spécifique, contextuelle et générique, mais sans réelle interrogation sur le concept manié, à savoir s’il s’agit d’une propriété purement systémique ou fondatrice. Or, la rédaction de PLASTIR suggère fortement que la plasticité n’est pas une fonction isolée, mais traduit l’inscription d’un processus actif, car c’est la seule qui réponde à la fois de l’intelligence des formes et du dépassement des contradictoires. Elle conduit non seulement à réévaluer le contenu mais aussi le contenant, le signifié de la forme, la métaplasticité du sujet, de la conscience humaine et l’attitude que cela engendre dans la société d’aujourd’hui.
Image d’ouverture> ELEMENTA, série Inside. © Nathalie Delprat
