Interaction avec un danseur virtuel intelligent (suite)

             Interaction avec un danseur virtuel intelligent (suite)

3. Intégration dans le modèle autonome d’éléments de la physiologie de la perception et de l’action

 Cette partie décrit une intégration de quelques principes et lois naturelles du mouvement sur notre modèle de corps virtuel. Ils viennent moduler certains de ses comportements autonomes, à l’image du cerveau qui définit des stratégies mouvements afin de réduire le nombre de paramètres de contrôle. « Si l’on veut réhabiliter le corps dans la neurobiologie moderne, il faut retrouver les règles qui sous-tendent ses mouvements. Celles-ci ont été intuitivement comprises par les sculpteurs qui ont su rendre les mouvements du corps et leurs relations avec les émotions, comme par les acteurs de théâtre oriental. Ils nous enseignent que le mouvement s’exprime d’abord par la posture […] Ils nous enseignent aussi que la cinématique du mouvement est porteuse de sens, et que la trajectoire d’un doigt, le déplacement de la tête, le balancement du corps doivent répondre à des lois qui sont au carrefour de la mécanique et de la neurologie.  Ils nous enseignent encore qu’un mouvement naturel est source de plaisir » [33].

 3.1 À propos des réseaux neuronaux

Le réseau de neurones de l’acteur virtuel apprend à partir de quelques exemples correspondant à un échantillonnage de mouvements naturels saisis par les capteurs.

En remplaçant le réseau contrôlant les jambes par plusieurs réseaux ayant subi des apprentissages différents, le problème du choix du réseau à solliciter se posait : Dans un premier temps nous avons choisi le réseau dont la distance euclidienne de l'une de ses entrées d'apprentissage avec la position actuelle de l'acteur virtuel était minimum. Dans un deuxième temps, plutôt que de choisir un seul réseau, celui qui semblait le mieux adapté, nous avons opté pour une combinaison de réponses

Ainsi nous avons développé un environnement multiréseaux permettant de réaliser de telles combinaisons constituant une toute première approche du modèle de la sélection de l’action. Cette formulation est un début de réflexion et l’étude d’autres modes de sélection, modèle de sélection de l’action [34], sera un des sujets que nous comptons développer ultérieurement.

Par multiplexage des entrées, il est possible de contrôler le degré d’autonomie de l’acteur virtuel. Dans la même optique, nous avons simulé « une action dirigée vers un but » par une méthode proche de celle de la cinématique inverse utilisée en robotique.

 3.2. À propos du rôle de la tête et du regard

 Dans notre installation interactive La funambule virtuelle, le contrôle des mouvements de la tête était confié à un « moteur comportemental » interagissant avec le modèle dynamique sur un mode quelque peu arbitraire. Il s'ensuivait des gestes fort peu naturels : En particulier la tête, et le regard, erraient sans stratégie bien définie.

Si le bébé qui apprend à marcher prend le sol comme référentiel, le contrôle de la posture et de la locomotion se fait à partir des pieds, cet apprentissage s’accompagne d’un rôle croissant de la tête par une stabilisation en rotation par phase afin de créer un référentiel stable mais mobile. L'enfant qui sait marcher et l'adulte sont guidés par la tête. Il suffit de regarder une personne qui court ou un animal ou encore même un surfeur, celle-ci est stabilisée en rotation et constitue une plate-forme inertielle mobile. Elle contrôle l'angle de la tête dans un plan qui est à la fois déterminé par les capteurs vestibulaires qui mesurent l'orientation de la tête par rapport à la gravité et par la direction du regard qui sert d’ancrage.

Dans un premier temps, nous avons apporté une modification simple consistant à contrôler la tête et à la maintenir dans une position plus stable. Dans un deuxième temps, nous projetons de modifier la structure d’ancrage du personnage virtuel afin que la tête devienne la racine de la hiérarchie au lieu du bassin. En ce qui concerne le regard de la funambule virtuelle, il peut maintenant chercher à rester fixé sur le spectateur. Et, lorsque la funambule pivote sur elle-même, sa tête peut être amenée à changer brusquement d'orientation afin de se recaler dans une direction que les contraintes biomécaniques ne permettent pas de conserver de façon continue.

 3.3 Corrélations automatiques

Le cerveau, pour contrôler des mouvements complexes, diminue le nombre de degrés d'action qu'il a sur les muscles du corps en créant des corrélations automatiques entre certains paramètres. Par exemple, lorsque nous faisons un geste, les trois angles que font respectivement la cheville avec la jambe, la jambe avec la cuisse, la cuisse avec le tronc sont en dépendance linéaire. Dans un espace 3D représentant les variations de ces angles, les points de cet espace, ayant pour coordonnées la valeur de ces angles, restent au voisinage d’un plan, appelé le plan de phase, lorsqu’un mouvement naturel a lieu. Pour vérifier cette loi, un programme analyse les variations de ces angles sur un clone de synthèse animé par un acteur réel vêtu d’un exosquelette Gypsy qui captent les angles des membres du corps. Une interface graphique visualise le plan le plus proche du nuage constitué par un ensemble de mesures. On peut constater que, d’une part, dans ce cas les points correspondants restent assez proches d'un plan idéal, alors que, pour d'autres parties du corps, cette corrélation n'est pas nécessairement vérifiée et que, d’autre part, elle n’est pas vérifiée de façon continue mais sur des segments de mouvements (figure 11).

Un autre type de réglage automatique que réalise le cerveau, concerne l’opposition de phase, dans lesquelles des mouvements secondaires peuvent être engendrés par des variations inverses. Par exemple, l'angle que fait le bras avec le corps d'une part, et l'angle que fait l'avant bras avec le bras d'autre part, varient en sens inverse. « Si vous dessinez un 8 dans l’espace, les angles entre les différents segments du bras vous paraîtront sans doute très variables. Il n’en est rien : ils ont des relations très précises entre eux […] Lorsque l’angle du bras par rapport au corps augmente, celui du bras par rapport à l’avant bras diminue d’une quantité égale. On dit qu’ils sont en « opposition de phase. Cette contrainte cinématique permet de contrôler le mouvement avec un seul paramètre, en ne faisant varier que le rapport d’amplitude des deux angles, ce qui simplifie considérablement le contrôle. ». Pour vérifier cette loi, nous avons utilisé le programme précédent en visualisant ces variations, et les résultats sont probants sur certains intervalles ( figure 11)

 3.4 La loi de la puissance un tiers

 Un autre exemple issu de l’observation de la cinématique des mouvements naturels qui révèle les algorithmes qu’emploie le cerveau pour contrôler le mouvement, est celui de la loi, dite de la puissance un tiers, qui relie la cinématique du geste et la géométrie. Ainsi si vous dessinez une ellipse sur une feuille de papier d’un mouvement naturel , on peut montrer une relation entre la courbure et la vitesse tangentielle des mouvements de la main . C’est une loi du mouvement naturel. Si on ne respecte pas cette loi, le mouvement apparaît artificiel. Ce qui est remarquable, c’est qu’elle contraint aussi la perception du mouvement […] les lois de production du mouvement naturel influencent les lois de la perception du mouvement… Lorsque deux partenaires doivent accorder leurs deux corps en mouvement, ils doivent tenir compte de ces lois qui sont liés à des mécanismes internes du cerveau.

Cette relation extraordinairement précise entre la courbure de la forme que vous dessinez et la vitesse tangentielle le long de sa courbe est la suivante :

V/(R^1/3) = constante, avec V = vitesse tangentielle et R = Rayon de courbure.

Nous avons pu la vérifier avec le même type de programme que celui qui a été employé pour les lois précédentes (figure 12).

3.5 Référentiel d'interaction

 À côté de la gravité ou des référentiels visuels comme les verticales ou les horizontales, ou encore de l’axe du corps, d’autres systèmes de référence peuvent être utilisés par le cerveau.. Ainsi, la chorégraphe israélienne Eshkol « a mis au point un système de notation de la danse grâce auquel on décrit les mouvements de deux danseurs dans trois grands référentiels : par rapport à l’environnement, par rapport au corps même du danseur et, enfin, par rapport au partenaire. Ce dernier pose la question d’un référentiel d’interaction entre les deux danseurs.

Un autre exemple concerne celui de l’affrontement entre deux chiens : les référentiels qui leur sont respectivement attachés sont mobiles, mais on peut définir un référentiel d'interaction dans lequel les deux précédents sont liés par certaines contraintes, par exemple le regard de chaque chien est fixé sur le regard de l’autre.

C’est pourquoi nous avons ajouté une liaison entre les mouvements du référentiel et la caméra virtuelle, non plus de façon arbitraire, mais dépendante des mouvements du spectateur et de ceux de l'être de synthèse. Par ailleurs, dans le cas où il y a deux personnages en mouvement nous avons créé une relation entre les regards qui doivent tenter de ne pas se quitter.

L’exemple montré ci-dessous est celui de deux personnages en mouvement et dont les regards tentent de s’aligner (figure 13).

 Conclusion

  Si « la perception n’est pas une représentation » mais « une action simulée et projetée sur le monde », ces créations numériques ne pourraient-elles pas être envisagées également non plus seulement comme représentation, mais comme « une action simulée et projetée sur le monde » ?

Si l’art interactif ne peut se réduire à la simulation, toutefois,’il s’appuie sur elle pour faire entrer le spectateur dans le jeu de l’interactivité. S’il ne peut se réduire à l’illusion, l’illusion des perceptions simulées, il permet cependant d’amorcer une cohérence perceptive pour le spectateur, acteur de l’expérimentation proposée. Cohérence que l’artiste tente de dépasser : brouiller, perturber, provoquer un dérèglement des sens pour les questionner, les explorer, en sonder les limites, pour éprouver de nouvelles émotions, pour inventer, pour créer.

Si les objectifs des scientifiques sont différents de ceux des artistes, ces derniers ne cherchent pas à vérifier les modèles proposés, mais plutôt à les considérer comme contribuant à ce qu’on pourrait appeler « des hypothèses esthétiques », ce parcours commun leur permet de créer de nouvelles expérimentations artistiques hybridant humains et êtres virtuels, à la recherche de nouvelles sensations, émotions, visions du monde, à partir de du mouvement et de l’action.

APPENDIX

            La méthode de la “rétropropagation de l’erreur » est une technique d’apprentissage supervisé dans laquelle le « professeur » connaît la réponse théorique. Notre implémentation est inspirée du livre d’Hervé Abdi [35]:

Soit un réseau neuronal multi couches, avec une couche d’entrée, une ou plusieurs couches cachées et une couche de sortie.

Soit x_k le vecteur représentant le stimulus k ( valeur d’apprentissage).

Soit o_k le vecteur représentant la réponse des cellules de la couche de sortie pour le stimulus k.

Soit t_k le vecteur représentant la réponse désirée (ou théorique) des cellules de la couche de sortie pour le stimulus k.

Un apprentissage est défini par les couples ordnnés (x₁,t₁) ... (x_Nk,t_Nk).

Soit w_j,i le poids de la connexion de la cellule numéro i à la cellule cachée numéro j.

Et finalement soit OUT=f(IN) la fonction de transfert d’une cellule.

Si la réponse calculée est différente de la réponse théorique, les poids sont modifiés de façon à diminuer l’erreur faite par les cellules impliquées dans la réponse. Le calcule qui prend l’erreur en compte est le même pour chaque couche, mais le calcul du signal d’erreur dépend de cette couche.

Dans le cas de l’exemple k, soit o_i, la sortie calculée et  t_i la sortie théorique, il faut minimiser l’erreur quadratique:

Q = (o_i – t_i)²

La descente du gradient travaille en évaluant w_i,j dans le sens opposé à celui de la variation de ce gradient:

D w_ij = -n * dQ / dw_ij

Où n est la constante d’apprentissage, entre 0.0 et 0.1

Soit e_i l’entrée du neurone i, a_i sa sortie et f sa fonction de transfert, on montre que la correction des poids de l’unité numéro i est:

            D w_ij = -n * d_i * a_j  avec  di = -n * ¶Q / ¶a_i * ¶a_i / ¶e_i

donc l’erreur de la couche de sortie est:

            d_i = 2 * f(e_i) * (o_i – a_i)            (1)

et l’erreur de la couche cachée est:

            d_i = f’(e_i) * d_k * w_ki                                (2)

Si la fonction de transfert est la fonction sigmoide:

OUT = f(IN) =  1 / (1 + e^-k*IN), sa dérivée est :

¶OUT / ¶IN = OUT * (1 – OUT)

et les formules (1) and (2) deviennent, pour la couche de sortie:

            di = 2 * ai * (1 – ai) * (oi – ai) (1’)

et pour la couche cachée:

            di = ai * (1 – ai) * d_k * w_ki               (2’)

Dans la méthode récurrente on commence par calculer le signal d’erreur pour la couche de sortie par la formule (1), puis, de proche en proche, en remontant les couches caches on utilise les signaux d’erreur des cellules de la couch i pour calculer ceux de chaque cellule de la couche i-1 avec la formule (2). D’où le nom d’algorithme de la “ rétropropagation de l’erreur  ”.