• Español

Toucher et déplacer un objet virtuel de la façon la plus naturelle possible : tel est l’objectif de Jean-François Jégo. Venu présenter ses travaux aux étudiants lors des Rencontres Crossmédias le 21 janvier 2014 (voir la vidéo), ce jeune chercheur au Centre robotique des Mines Paris-Tech, a interrogé le dialogue entre la technologie et l’humain à travers des projets de réalité virtuelle concrets. Retour sur une conférence où les écrans virtuels de Minority Report sont plus que jamais proches d’exister.

Minority Report - Steven Spielberg - 2002

Minority Report – Steven Spielberg – 2002

À chaque geste réel son action virtuelle

Redéfinissons ce qu’est l’interaction gestuelle. Au commencement étaient le clavier et la souris, qui nous permettaient à nous, humains connectés, de pouvoir discuter avec notre ordinateur. Je pointe un objet sur l’écran avec ma souris, je clique sur un objet et celui-ci change de forme ou ouvre une fenêtre. Pointer, cliquer : deux actions humaines réelles traduites pour l’ordinateur par la souris. Changer de forme, ouvrir une fenêtre : la réponse de l’ordinateur donnée à l’humain suite aux indications données par la souris.

Console Kinect

Console Kinect

L’interaction gestuelle consiste à conserver le même procédé (geste humain, réponse de la machine) en éliminant la médiation opérée par la souris. Ainsi chaque geste que l’on fait correspond à une action bien précise pour l’ordinateur.  La console de jeux Kinect est l’une des illustrations par excellence du principe d’interaction gestuelle. Toutefois, ce principe n’est pas des plus simples à mettre en pratique.  Par exemple, l’exécution d’un geste simple comme l’ouverture d’une boîte diffère grandement d’un homme à l’autre.

La position des doigts sur le couvercle, le mouvement des mains, la pression sur l’objet, ou encore le contexte (la boite est mouillée, l’homme est en bonne condition physique…) sont autant de paramètres que doit prendre en compte l’ordinateur pour exécuter correctement l’action demandée.

slide to unlock

slide to unlock

Par ailleurs, dans le cadre d’un programme de réalité virtuelle, l’ordinateur traduit et répond à des schèmes et métaphores induits par le geste de l’homme, en plus de créer un univers dans lequel celui-ci évolue. Le schème (geste dont la signification est évidente quel que soit le contexte, comme serrer la main d’une personne pour la saluer) et la métaphore (un geste qui a acquis une signification évidente par la force de l’usage, comme le « slide to unlock » des téléphones portables) sont des langages qui nécessitent un apprentissage autant de la part de la machine que de celle de l’homme.

Tout geste non paramétré ni intégré dans le « vocabulaire » de la machine n’induit aucune réponse de sa part. Réciproquement, l’homme doit s’entraîner à reproduire exactement à l’identique chaque geste reconnu par la machine pour optimiser ses chances d’obtenir la réponse souhaitée.

L’interaction gestuelle pose donc une double problématique : celle de créer, entre autres paramètres, un répertoire de gestes, le plus simple à décoder pour l’ordinateur, et le plus universel et naturel pour l’utilisateur. En filigrane, se pose aussi la question de la création d’un univers et de réponses cohérentes autour de ces gestes, pour faciliter l’immersion de l’utilisateur dans l’application de réalité virtuelle.

Interaction gestuelle -Yu LUO

Interaction gestuelle -Yu LUO


Des applications concrètes

Jean-François Jégo travaille sur ces problématiques en essayant de créer un programme intelligent, qui apprend à interagir avec l’humain et à comprendre ses demandes malgré les variations  d’exécution du geste. L’ordinateur intègre le comportement de son utilisateur et « apprend » à distinguer les gestes signifiants, qui impliquent une réponse de sa part, des gestes inconscients, qui parasitent l’action. Adossé à ce domaine de recherche, il réfléchit à l’application des interactions dans le cadre de programmes de réalité virtuelle destinés au grand public. Ainsi le projet « Haut la main », présenté lors de l’évènement Futur en Seine au Cent-Quatre à Paris, permet-il à des personnes d’agir dans un environnement virtuel à partir d’une bibliothèque de gestes qu’elles auront elles-mêmes conçue au préalable. L’interface s’adapte à son utilisateur et non l’inverse. L’intérêt de ce projet réside dans sa versatilité dans les domaines d’application du dispositif : rééducation motrice, cognitive et sensorielle à domicile et à faible coût pour les personnes handicapées, performance artistique, visualisation et manipulation de données en temps réel…

La réalité virtuelle à portée de main ?

La recherche dans l’interaction gestuelle représente un pas supplémentaire vers des dispositifs de réalité augmentée ou virtuelle plus tournés vers l’individualisé voire le sur-mesure. Outre les coûts de développement, cette recherche semble venir à l’encontre d’une utilisation partagée et participative d’une même application de réalité virtuelle ou augmentée. En effet, dans le cadre d’un jeu multijoueur, sera-t-il technologiquement possible pour une même interface d’interpréter simultanément deux langages gestuels singuliers et de donner une réponse rapide et cohérente ?

De la même façon, dans le cadre de la rééducation motrice et sensorielle, il est possible de s’interroger sur les limites du dispositif. En effet, pour définir un geste « naturel », l’utilisateur doit faire appel à des expériences similaires passées, et choisir, parmi les multiples itérations d’une même situation et d’un même geste, celui qui répond au mieux à une problématique particulière (par exemple, tirer sur un loquet pour ouvrir une porte). Toutefois, un usager ne risque-t-il pas de se lasser d’un geste qui lui a semblé « naturel » dans un système de réalité virtuelle, lorsqu’il s’aperçoit de son inefficacité en conditions réelles ?

Si la perspective de manipuler des écrans virtuels semble encore techniquement éloignée, les avancées de la recherche dans le domaine de l’interaction gestuelle ont le mérite de soulever la question de l’ergonomie d’objets connectés et « intelligents »  qui sont, eux, bien réels.

Article écrit par Angeline Perrot et Tiphanie Carrier

En savoir plus :

Partager et découvrir:
  • Print
  • Digg
  • StumbleUpon
  • del.icio.us
  • Facebook
  • Yahoo! Buzz
  • Twitter
  • Google Bookmarks