La plupart des interactions basées sur le mouvement proposent des interfaces « intuitives » et des vocabulaires gestuels triviaux. Bien que ceux- ci facilitent l’adoption, ils limitent néanmoins les possibilités d’inter-actions plus complexes, expressives et véritablement incarnées. Nous proposons de passer des notions d’intuitivité à des notions d’ “apprenabilité”. Notre projet aborde à la fois des problèmes méthodologiques et de modélisation computationnelle.

Premièrement, nous devons élaborer des méthodes pour concevoir des vocabulaires de mouvements, lesquelles seraient faciles à apprendre et à composer afin de créer des phrases de mouvement riches et expressives. Deuxièmement, nous devons concevoir des modes les computationnels capables d’analyser les mouvements des utilisateurs en temps réel pour fournir divers mécanismes de feedback et de guidage multimodaux (par exemple visuels et auditifs).

Trois questions de recherche fondamentale:

1) Comment concevoir des mouvements et des gestes, formés de composants faciles à apprendre, tout en permettant des techniques d’interactions complexes au-delà des simples commandes?

2) Comment rendre compte de l’apprentissage sensori-moteur avec des modélisations computationnelles du mouvement et de l’interaction?

3) Comment optimiser des systèmes de feedback et guidages informatique afin de faciliter l’acquisition de compétences ?

L’objectif à long terme est de favoriser l’innovation dans l’interaction multimodale, de la communication non verbale à l’interaction avec médias numériques dans des applications créatives.