Interaction avec un danseur virtuel intelligent
Interaction avec un danseur virtuel intelligent :
Expérimentations artistiques entre art et sciences cognitives
Michel Bret, professeur émérite des universités
Marie Hélène Tramus, professeur en Art et Technologie de l’Image à l’Université Paris8
Alain Berthoz, neurophysiologiste, professeur au Collège de France
alain.berthoz@college-de-france.fr
Résumé
Cet article relate la collaboration entre un neurophysiologue et deux artistes du computer art qui s’est effectuée dans le cadre d’une recherche et d’une expérimentation artistique à la frontière de l’art et des sciences cognitives sur les acteurs virtuels interactifs. Cette recherche, intitulée L’interactivité « intelligente » (connexionnisme, évolutionnisme et vie artificielle) dans les arts numériques en relation avec la physiologie de la perception du mouvement et de l’action, a été soutenue par le Programme Cognitique 2000 sur le thème Art et Cognition à l’initiative du Ministère de la Recherche français.
Mots-clefs
Art numérique, perception du mouvement,
interactivité, connexionnisme, évolutionnisme, vie artificielle.
Introduction
L’interactivité a introduit une certaine forme de sensorialité dans les arts, surtout pensée du côté du spectateur. Nous faisons l’hypothèse que cette sensorialité se pense également du côté de l’œuvre elle-même en dotant celle-ci de ses propres perceptions. Ainsi serait posée l’une des questions les plus actuelles dans les arts numériques : celle des relations entre les « perceptions-mouvements-actions » naturels et artificiels. Nous étudions et expérimentons ces relations en nous appuyant sur les recherches qui sont menées dans le domaine de la perception du mouvement et de l’action, dans celui du connexionnisme, de l’évolutionnisme et de la vie artificielle.
L’un de nos objectifs est de créer des installations artistiques mettant en scène des acteurs virtuels dotés de perceptions artificielles leur permettant de réagir de façon autonome aux sollicitations d’un spectateur, offrant ainsi aux arts et aux sciences cognitives un champ inédit d’expérimentation du virtuel.
1 La seconde interactivité
Notre propos se situe dans le contexte des arts interactifs en relation avec la vie artificielle et dans le champ des recherches que nous présentons brièvement et de façon non exhaustive afin de donner un ensemble de points de repères.
Flavio Sparacino [1] distingue les systèmes simplement « réactifs » (dans lesquels les capteurs interprètent les actions des spectateurs sous forme de scripts qui mappent des réactions préalablement définies), les systèmes comportementaux (appliquant les recherches en intelligence artificielle comme par exemple les comportements de groupe introduits par Reynolds en 1987 [2]) et finalement les « systèmes autonomes », d’abord introduits par Brooks [3] dans le cas de la robotique, puis développés par Maes [4] [5] et dont Karl Sims [6][7] a donné les premières applications artistiques. Blumberg [8][9] construisit un modèle général pour la perception et la sélection de l’action en temps réel. Il élabora le modèle d’un chien capable d’interagir avec des êtres humains aussi bien qu’avec d’autres acteurs virtuels sur le mode comportemental. Avec le “Neuro-Animator”[10], Terzopoulos ouvre une nouvelle approche afin de créer des animations physiquement réalistes en exploitant les propriétés des réseaux neuronaux entraînés off_line pour imiter la dynamique des modèles physiques en mouvement. CML (“Cognitive Modelling Language”) [11] montre des modèles comportementaux contrôlant ce qu’un acteur connaît, comment il ou elle acquière cette connaissance et comment il ou elle en use afin de planifier ses actions.
Selon Jean-Arcady Meyer [12][13] l’approche animat postule qu’il est possible d’étudier la cognition humaine par une approche “ bottom-up » procédant par une architecture de contrôle minimum dans un environnement simple et en le complexifiant graduellement. La robotique évolutionniste applique les lois de la génétique et de la sélection naturelle pour encoder le phénotype d’un robot dans son génotype, le robot est ensuite soumis à un processus artificiel de sélection naturelle en utilisant les algorithmes génétiques [14][15] et la programmation génétique [16].
Une importante recherche a été faite dans le domaine de la “cyberdance”. Citons parmi les plus importantes Merce Cunningham utilisant le programme Life Forms de Tom Calvert’s[17][18] , Nadia Magnenat Thalman [19][20] qui réalisa des performances en mettant en scène des acteurs virtuels avec des acteurs réels.
Dans son spectacle, DanceSpace, Flavia Sparacino [1] génère en temps réel musique et images à partir des mouvements des danseurs. Elle a aussi appliquée cette approche au théâtre dans TheaterSpace.
Dans le domaine du théâtre , Jean Lambert-Wi’s utilise le système Daedalus créant des organismes artificiels à partir de données en provenance du stress et de l’émotion des acteurs (Fourth Art and Technology Festival, Espace Jean Legendre, Lyon, 2001).
Nous nous positionnons dans le courant inspiré du connexionnisme, d’abord exploité par Van de Panne, Fiume[21] et Karl Sims[6], en appliquant ses résultats à des figures animées devant s’adapter à un environnement inconnu et en évolution [22].
Les recherches actuelles menées sur les acteurs virtuels s’inscrivent dans s’éloignent d’une interactivité de commande (ou « première interactivité ») en
L’interactivité, qui est au cœur des recherches menées sur des acteurs virtuels, est aussi au cœur d’une réflexion qui refuse de s’en tenir à des usages trop simplistes la restreignant à un schéma action-réaction univoque tendant à évacuer l’ambiguïté, la polysémie, l’indétermination et l’ouverture à d’autres possibles. Cette approche de la création privilégie non pas la prédétermination de ce que sera l’œuvre par une maîtrise totale, mais plutôt ce qu’elle adviendra au cours du dialogue qui s’établira entre elle et le spectateur.
Pour cela, il s’agit de concevoir des acteurs virtuels qui ne se comportent pas comme des robots mécaniques, mais comme des êtres dotés de perceptions et d’autonomie d’action, objectif essentiel si l’on veut que le dialogue gestuel avec l’être virtuel soit riche, complexe, inattendu, et donne l’impression d’une relation vivante. Si, d’un certain côté, l’artiste perd une partie de la maîtrise sur son œuvre, d’un autre côté, il gagne la possibilité de sortir de lui-même, en laissant l’être virtuel le surprendre par sa capacité d’interaction autonome et évolutive et surprendre également le spectateur.
Afin d’aller dans la direction d’une interactivité que nous suggérons d’appeler « seconde interactivité » [22], mettant en jeu des relations à la fois plus complexes et plus « floues », se rapprochant de comportements humains intuitifs, nous avons choisi de nous appuyer sur des modèles issus des sciences cognitives et des sciences du vivant, notamment du connexionnisme, de la génétique et de la physiologie de la perception et de l’action.
Ces dispositifs interactifs sollicitent la participation du corps entier. Il y a là une nouvelle forme d’hybridation entre l’œuvre et le spectateur qui, loin d’égarer l’art vers une prétendue dématérialisation où le corps serait nié au profit de pures abstractions, s’ouvre vers d’autres horizons. L’attention portée à la corporéité reprend une place qu’elle avait en partie perdue dans un certain art contemporain.
Si l’œuvre induit des effets de sens, ces effets ne passent pas prioritairement par des jeux de symboles ou de langage, des concepts, mais par l’activation d’une forme de pensée souvent dépréciée ou méconnue : la pensée du corps. L’œuvre est alors tout entière contenue dans la suite des expériences perceptives singulières que vit et que peut revivre le spectateur au cours du dialogue. Elle n’existe qu’à la condition d’être fréquentée, explorée, éprouvée. Selon la formulation de Francisco Varela, elle est radicalement « expérientielle ». Elle est art du corps.
Ici le corps n'est pas seulement le corps propre, il est aussi dialogue avec un double possible ainsi créé, le « döppelganger » [24]. Mais ici le double est à la fois appel à s'y reconnaître et différent, autonome. De cette ambiguïté peut naître une émotion que l'œuvre d'art seule sait créer.
1.3 Autonomie
Selon Varela, l’autonoie signifie loi interne ( en relation avec l’auto generation, l’auto organisation et l’affirmation de l’identité), elle est opposée à l’allonomy (loi externe ou commande) [25].
Ce qui est en jeu ici dans ce dialogue avec les créatures virtuelles, c’est la question de leur autonomie, caractéristique essentielle de ces objets virtuels devenus automates. Cette autonomie est ce qui leur permet de se mouvoir et d’agir de façon indépendante et adaptée en fonction de la perception qu’ils ont de l’environnement, ici le spectateur, grâce à des capteurs sensoriels.
Cette logique de l’autonomie n’a cessé d’accompagner les développements aussi bien de l’intelligence artificielle et de la robotique classique que ceux de la vie artificielle, des « automates autoreproducteurs » jusqu’aux animats dont les comportements peuvent être générés, par exemple, par des algorithmes génétiques et/ou des réseaux neuronaux.
Si penser c’est calculer, il faut reconnaître que le calcul qui constitue notre pensée est différent de celui que met en œuvre l’unité arithmétique et logique d’un ordinateur » [26], ce qui incitera à se tourner vers la biologie [27] et les neurosciences les tenants de la pensée connexionniste tels que McCulloch et Pitts [28], Rosenblatt [29], puis Hopfield [30], McClelland et Rumelhart [31] et à s’inspirer de l’organisation des neurones dans le cerveau afin de développer des modèles de réseaux formels. La capacité d’apprentissage de ces réseaux qui leur confère la possibilité d’une action autonome est le résultat d’une émergence et non d’une préprogrammation. Ainsi dans le cas du modèle de réseaux de neurones : « le réseau doit organiser son calcul en comportement cohérent par rapport à l’environnement. On nomme émergent ce comportement global du réseau, composé du comportement individuel et local de ses neurones. Tout l’intérêt du connexionnisme provient du fait que le travail commun de neurones relativement simples peut produire un comportement émergent complexe, capable d’effectuer des calculs élaborés » [32]. C’est donc grâce aux relations qui lient les neurones entre eux qu’apparaissent ces propriétés dites émergentes, propriétés que ne possède pas individuellement chaque élément. L’approche connexionniste offre une direction possible, bien que pas la seule, pour l’art interactif expérimental, en donnant aux créatures virtuelles un certain degré d’autonomie grâce aux réseaux neuronaux générant des comportements imprévisibles et non programmés.
Cette approche globale à l’œuvre dans ces expérimentations artistiques s’inspire de conceptions actuelles sur le vivant, en particulier celles de neurophysiologistes pour qui « les propriétés les plus raffinées de la pensée et de la sensibilité humaine sont des processus dynamiques, des relations sans cesse changeantes et adaptatives entre le cerveau, le corps et l’environnement » [33] et pour qui le mouvement joue un rôle fondamental car coordonner des actions est bel et bien à l’origine des fonctions cognitives les plus élevées du cerveau. Parallèlement au plaidoyer pour la réintégration de l’action et du mouvement au cœur de l’étude du cerveau , ces installations manifestent aussi une volonté d’œuvrer pour un art numérique qui lui aussi s’ancre dans les sensations corporelles et le mouvement.
Récemment il a été proposé l'idée que la perception n'est pas seulement simulation, mais est aussi décision [34]. Elle gère l'ambiguïté et dans un mélange subtil de processus rigides et déterministes et d'une fluidité où l'aléatoire a sa place, l'émotion son rôle, elle permet la création de solutions et d'interprétations nouvelles.
Les réseaux de neurones, qui ont la capacité de s’autoconfigurer, nous ont paru propices à l’expérimentation des interactions « corps/cerveau/environnement » d’une créature virtuelle. Nous avons choisi dans une première approche d’utiliser les réseaux à couches cachées avec rétropropagation de l’erreur et à apprentissage supervisé [35], étant donné leur facilité d’implémentation. Ils sont très répandus, les algorithmes sont largement publiés et ils manifestent surtout une grande efficacité dans la résolution de certains problèmes à contraintes floues dont on ne connaît pas d’algorithmes de résolution. Toutefois, ils sont très éloignés des réalités neurobiologiques d’un cerveau.
Cette exploration des réseaux de neurones supervisés correspond à un moment donné de nos recherches. Mais nous expérimentons d’autres types de réseaux, comme les réseaux non supervisés de Kohonen [36] à apprentissage compétitif qui sont capables de discerner des régularités. Nous sommes également intéressés par d’autres paradigmes comme l’approche dynamique dans les recherches sur les animats [37, 38]. Autant de perspectives pour aller au-delà de « cet interstice ténu situé entre l’appris et l’adaptation ».
2 Des installations interactives « intelligentes »
L’exploration des possibilités d’une « interactivité gestuelle intelligente » entre des acteurs réels et virtuels dans les arts numériques, s’enrichit en la croisant avec d’autres approches : celles des sciences cognitives et en particulier celles qui s’attachent à une compréhension du mouvement, de la perception et de l’action et s’interrogent sur leurs relations avec l’émotion et l’expression, mais aussi celles des arts du mouvement, comme la danse, le théâtre, le cirque, pour qui le geste est la matière même de leur expression artistique.
2.1 Description des deux installations comportant un personnage virtuel interactif
Ce personnage virtuel obéit à des lois biomécaniques et il est doté de comportements réflexes qui le maintiennent en équilibre sur le sol. De plus, des réseaux neuronaux lui permettent de réagir aux mouvements du spectateur de façon « intelligente » [39].
Avec l’installation La funambule virtuelle [40] (figures 1 à 7), il est proposé au spectateur de devenir funambule. L’image de la funambule virtuelle est projetée sur un écran faisant face au spectateur tenant dans ses mains un balancier équipé d’un capteur de mouvement. Ce capteur transmet à l’ordinateur des informations de position et d’orientation interprétées en temps réel comme des forces agissant sur l’acteur dynamique de synthèse contrôlé par des réseaux neuronaux. La funambule n’est pas une copie du spectateur, mais un être artificiel sensible aux mouvements de ce dernier. Si le spectateur cherche à déséquilibrer la funambule, celle-ci tente de retrouver son équilibre en développant, en temps réel, des stratégies autonomes qui sont le résultat d’un apprentissage préalable. Le face-à-face entre les deux « acteurs » s’élabore alors autour d’un jeu d’équilibre et de déséquilibre.
Avec l’installation Danse avec moi (figures 8 et 9), il est proposé au spectateur d’interagir en temps réel avec, cette fois-ci, une danseuse virtuelle. Le spectateur interagit, au moyen d’un capteur de mouvement qu’il porte à la ceinture. Les variations de vitesse de déplacement du capteur sont interprétées par l’ordinateur comme des forces agissant sur un modèle de corps virtuel placé dans un champ de pesanteur et contraint par un sol qu’il ne peut traverser. Face au spectateur en mouvement la danseuse virtuelle improvise des pas de danse qui résultent d’un compromis entre les stratégies apprises de rééquilibrage, de danse et les gestes du spectateur.
D’une façon très élémentaire cette démarche tente d’aller au-delà du simple schéma : entrée de données interprétation. La perception n’est pas seulement une interprétation des messages sensoriels : elle est contrainte par l’action, elle est simulation interne de l’action, elle est jugement et prise de décision, elle est anticipation des conséquences de l’action. Le caractère prédictif de l’acte perceptif a été mis en avant dès les années 30. Ainsi pour P. Janet « l’acte qui est déclenché par la stimulation initiale ne s’adapte pas seulement à cette stimulation, mais s’adapte à des stimulations qui n’existent pas encore, mais qui ne surviendront que plus tard grâce à l’acte lui-même. Cette adaptation à un ensemble de stimulations futures et simplement possibles caractérise les conduites perceptives » [41].
Nous sommes très loin de ces formes complexes d’adaptation et d’anticipation avec les réseaux de neurones à couches. Toutefois, le personnage virtuel va lui aussi pouvoir ne pas seulement adapter son action à la stimulation initiale, mais il va aussi pouvoir s’adapter à « un ensemble de stimulations futures », cette adaptation étant représentée ici par les réponses gestuelles du personnage élaborées en temps réel au-delà des exemples appris.
2.2 Expérimentation avec des spectateurs, des acrobates, des danseurs : l’interactivité dans les installations artistiques à travers l’opposition interdépendance et autonomie
Grâce à l’expérience acquise à chaque exposition [42], en regardant les spectateurs agir, nous avons analysé peu à peu les problèmes posés par la relation entre les deux êtres, en particulier celui du difficile dosage entre l’autonomie et l’interdépendance.
Les réponses des réseaux, entraînés par un apprentissage préalable, sont modulées par l’intervention du spectateur via le capteur. Il y a donc un mixage entre les données résultant du réseau de neurones et celles issues du module d’interaction lié au capteur. Le dosage entre elles est essentiel car il doit permettre de faire agir ensemble l’être virtuel et l’être réel dans une relation complexe faite à la fois d’interdépendance et d’autonomie respective. Quand le spectateur bouge, il doit sentir par la vue et par le geste, non seulement son action sur le personnage et les réactions de celui-ci, mais aussi l’autonomie de ce dernier. Une trop grande autonomie de l’être virtuel rompt la relation, un trop grand contrôle du spectateur sur lui, vide cette relation de tout inattendu. Le spectateur expérimente par le mouvement, peu à peu, il découvre sa partenaire et ses actions imprévues, il s’adapte, il cherche, il invente, lui aussi une gestuelle.
Nous avons filmé quelques moments de ces différentes expositions. Nous y voyons des spectateurs attentifs qui prennent en main le balancier, regardent la funambule, se mettent à se mouvoir, hésitants. Certains calquent leurs actions sur ce que fait l’équilibriste, ils tentent de l’imiter pour devenir eux-mêmes funambules en refaisant les mêmes gestes dans un temps à peine décalé. Cela donne de belles images d’instants d’harmonie qui surprennent le spectateur dans cette quête du double. Cette configuration est différente des expériences de clones de synthèse habituels où ces derniers qui reproduisent fidèlement les gestes de la capture de mouvements à laquelle ils sont asservis. Mais cette quête mimétique du spectateur est vite déjouée par son action même d’imitation qui va au contraire produire le déséquilibre du personnage virtuel et donc la rupture de l’harmonie des mouvements. Le spectateur fait de nouvelles tentatives, et la succession de ces nouveaux essais créant des nouvelles similitudes de gestes et d’autres ruptures de déséquilibre, construit peu à peu une relation gestuelle originale. D’autres spectateurs se projettent dans la funambule comme dans un clone qui doit suivre leurs propres gestes : tentatives, échecs, nouveaux essais infructueux qui peuvent conduire à l’abandon d’une relation avec cet être désobéissant. D’autres simplement tentent l’aventure, ils expérimentent, bougent, manipulent le balancier, regardent les mouvements de la fildefériste et ainsi de façon assez spontanée par l’action, par le mouvement, ils découvrent et élaborent une relation avec l’être virtuel.
Une funambule expérimentée a pratiqué son art en interaction avec la danseuse de corde virtuelle. Il était très troublant de voir simultanément les gestes d’équilibre et de déséquilibre des deux acrobates réelle et virtuelle et de ressentir une similitude dans les gestes. Similitude par exemple des appuis prononcés des pieds pour retrouver l’équilibre, soit vers l’avant soit vers l’arrière, ou des mouvements de rééquilibrage du buste, mais aussi similitude dans la dynamique du mouvement à la recherche ou à la perte d’équilibre. Il était captivant de voir rire et s’exclamer la vraie funambule devant le spectacle de positions extravagantes de déséquilibre de la fildefériste de synthèse. Il était fascinant de voir la funambule réelle scruter la funambule virtuelle comme pour comprendre ses « intentions ».
À partir de ces différentes expériences, celles de la funambule ou de la danseuse virtuelle, il semble que l’œuvre émerge de ce réseau de relations faites de ces liens invisibles et singuliers qui se tissent entre l’être réel et l’être virtuel et remplissent le vide de cet « entre-deux » grâce aux interactions des corps se mouvant dans l’espace commun de l’installation.
2.3 Description technique [43]
Ces installations comportent quatre modules (figure 10):
Le module dynamique calcule les mouvements d'un corps soumis à différentes forces : pesanteur, réactions de l’environnement, contraintes biomécaniques, simulations de forces en provenance des capteurs et du module comportemental [44].
Le module comportemental simule les forces réflexes de rééquilibrage automatique et les forces engendrant les mouvements volontaires qui sont le résultat d’ordres donnés par le module connexionniste.
Le module connexionniste construit en temps réel des stratégies adaptatives grâce à un réseau neuronal dont les entrées sont connectées au module interactif et dont les sorties sont interprétées comme des projets gestuels. Les projets sont des ensembles de couples de force appliqués aux articulations du corps et transmis au module comportemental qui va effectuer un mouvement. Le réseau a été instruit par un ensemble d’expériences constituant un apprentissage.
Le module interactif gère les échanges entre le modèle et le monde extérieur. Ses entrées sont alimentées par les forces extérieures envoyées par le capteur de mouvement. Par ailleurs, ce module interactif gère les échanges entre le modèle et lui-même, car certaines entrées proviennent des forces internes, telles que les contraintes biomécaniques du corps virtuel.
Ainsi, tout projet produit par le module connexionniste est dynamiquement confronté aux réalités de l’interaction qui le modifie. Il peut même être interrompu à tout moment par un autre projet mieux adapté à une nouvelle situation.
2.4 Apprentissage
Nous avons programmé l’algorithme de la rétropropagation de l’erreur pour un apprentissage supervisé sur un réseau à couches. Un ensemble de couples d’apprentissages est présenté au réseau dont la matrice des connexions a été préalablement initialisée aléatoirement. Pour chaque entrée le réseau calcule une sortie différente en général de la sortie souhaitée. La différence entre ces deux sorties est utilisée pour corriger les poids des connexions de façon à minimiser cette erreur. De proche en proche, par une série d’essais erreurs, le réseau s’auto configure et apprend l’ensemble des exemples donnés. Si ce dernier est suffisamment représentatif des différentes situations auxquelles sera confronté l’acteur de synthèse, le réseau donne des réponses correctes même pour des exemples non appris.
Premièrement, dans le cas de la funambule nous entraînons celle-ci à se maintenir en équilibre sur son fil et dans le cas de la danseuse nous lui apprenons à effectuer des mouvements de danse. Deuxièmement, nous mettons ces êtres virtuels, ayant participé à cet apprentissage préalable, face à des spectateurs ou des danseurs ou encore des acrobates pour que naisse de ces rencontres une invention gestuelle faite d’interdépendance et d’autonomie.
Nous avons aussi implémenté une version temps réel de cette méthode en parallélisant le processus d’apprentissage et celui d’interaction. Il s'ensuit une interaction plus évoluée dans laquelle le spectateur peut constater, contrôler et tenter de modifier, ses propres actions sur le comportement de l’être virtuel.
Enfin, nous prévoyons l’utilisation d’autres types de réseaux, non supervisés ceux-ci, comme ceux de Kohonen. Ils devraient permettre que l’être virtuel découvre par lui-même les régularités de son environnement et les stratégies de comportements les mieux adaptés.
Cette interaction entre le spectateur et l’être artificiel doué d’une certaine autonomie et d’une certaine capacité d’invention gestuelle, crée une situation artistique inédite qui, tout en étant proche d’une situation réelle, reste imprévisible et qui voudrait susciter l’improvisation, l’invention, l’imagination, la surprise.