accueil
ressources :
expression des émotions dialogue et gestualité multimodalité et modélisation

 

Ces références de travaux orientées à l’échelle internationale vers des pistes d’études sur les gestes renvoient en fait vers les principales tendances dans le domaine, à savoir l’analyse des expressions émotionnelles ( ce qui concerne plutôt le non verbal), les relations entre sémantique du dialogue et gestualité (thème concernant plutôt le co-verbal), l’intelligence artificielle et la modélisation des gestes (qui concernent plutôt la mutimodalité) . Certains auteurs ou laboratoires sont à l’interface de deux axes d’étude, par exemple gestuelle co-verbale et émotionnelle . Un autre axe de recherche non abordé ici est celui de la langue des signes, à laquelle il conviendrait de réserver une page spécifique . A noter que chacune de ces pages est en cours d'élaboration et ainsi, ne prétend pas recouvrir l'ensemble des auteurs .

 

intelligence artificielle , modélisation des gestes, multimodalité

 

Emotion research.net , financé par le réseau d’excellence HUMAINE est le portail international des recherches menées par les spécialistes d’intelligence artificielle intéressés par les différents paramètres paraverbaux en vue de concevoir des modèles dans des domaines d’application tels que : reconnaissance des émotions faciales, analyse automatique du geste , capture des mouvements pour générer une animation, implémentation d’émotions dans une voix artificielle, conception d’agents conversationnels intelligents , régulation des affects dans le cadre de serious games , de tuteurs virtuels intelligents, ergonomie et utilisabilité, reconnaissance faciale. La communication non verbale est utilisée comme une interface entre les applications communicantes et certains des aspects de la psychologie humaine, comme les émotions et les attitudes sociales. Ce réseau de chercheurs , dont certains sont issus de l’intelligence artificielle, revisite les théories de la cognition et de l’émotion à partir de la conception des multiples applications communicantes . La boite à outils de ce portail comporte 37 entrées à l’usage des chercheurs:

http://emotion-research.net/toolbox

un exemple original d’application est ce programme d’analyse de la personnalité en fonction de l’analyse conversationnelle ou textuelle des locuteurs . voir publication à ce sujet:
http://mi.eng.cam.ac.uk/~farm2//papers/personality-jair07.pdf

Emotion research.net est actuellement la solution la plus certaine pour accéder à toute recherche dans le domaine de la modélisation des émotions et avoir un aperçu de l'état de l'art des travaux à l'interface des sciences cognitives et de l'informatique.


développer
http://sspnet.eu/


Catherine Pelachaud directrice du laboratoire Telecom Paris Tech, travaille en véritable interdisciplinarité sur la modélisation des émotions d’agents conversationnels, l’interaction humain agent intelligent , les indices de présence sociale chez ces agents , les modèles de mouvement des lèvres et de coarticulation, les aspects persuasifs de la gestuelle virtuelle. On trouvera sur son site de nombreux actes de conférences et publications plein texte ainsi que des animations du prototype GRETA

http://perso.telecom-paristech.fr/~pelachau/Greta/
, qui a permis de tester des problématiques originales. Entre autres les expériences ont permis de faire varier des paramètres stylistiques du prototypes très fins, tels que la fluidité des mouvements, leur tonicité , discontinuité, amplitude, tempo, accélérations, soudaineté . De même, GRETA est capable de jouer des émotions complexes et composites .


Le nouveau prototype , Sensitive Artificial Listener a pour objectif de modéliser fidèlement l'interaction avec l'humain (ce qui est plus complexe que de répondre à des frappes de clavier...). Il devra être capable d’interpréter les signes émotionnels fournis par l’utilisateur via une webcam intelligente (voix, regard, visage...) afin d’adapter son propre comportement et d’entretenir le plus naturellement une synchronie dans le dialogue :
http://www.semaine-project.eu/



Justine Cassell a dirigé le groupe de recherches sur le geste du Media Lab du MIT, et elle est actuellement directrice de L’institut l'Human Computeur Interaction Institut
Ses investigations précoces dans le domaine des agents conversationnels intelligents ont donné lieu à des avancées fondamentales dans ce domaine. Elle a associé les projets de modélisation à des questionnements originaux tels que la perception interculturelle liés aux perceptions de ces agents ,l'utilisation thérapeutique des tuteurs intelligents avec des enfants autistes , la modélisation de gestes spatiaux pour des robots de guidage routier.
Sa page personnelle donne accès à un large corpus de textes publiés et libres d’accès.

http://www.justinecassell.com/



Jeroen Arendsen est auteur d'un système de reconnaissance des gestes en langue des signes . Il est également expert en matière de fonction interactive des robots dans le domaine de la santé et troubles infantiles . Son blog d'actualité scientifique “A Nice Gesture, Many stories and anecdotes on gestures” est régulièrement actualisé par des informations originales mettant souvent en relief la part des technologies numériques dans l'analyse du geste et des émotions .

http://jeroenarendsen.nl/


Le groupe «Geste et Image» fait partie du laboratoire LIMSI et s'intéresse particulièrement à deux thèmes :Réalité Virtuelle et Augmentée , Analyse et Traitement du Geste et de l'Image avec notamment l'étude des gestes en Communication Homme-Machine (LSF, regard, handicap moteur).

Au sein de cette équipe
Jean Claude Martin est à l'origine de travaux qui font référence, sur les modalités expressives des avatars parlants .

Il dirige par ailleurs la revue
Journal on Multimodal User Interfaces
Un aperçu de ses développements peut être découvert sur la vidéo suivante :

http://www.limsi.fr/Individu/martin/presentations/2010-02-22-TF1/ReportageTF1_cut.m4v

 




A l'intérieur du laboratoire IRIT, l'équipe
Traitement et Compréhension d’Images, mène un projet dit Traitement Automatique de la Langue des Signes : TALS.

Dirigées par Patrice Dalle, ces recherches visent à modéliser la langue des signes française (LSF) , comme système visuo-gestuel, à différents niveaux linguistiques. Les méthodes déployées impliquent notamment des logiciels d'annotation de vidéo basés sur une décomposition en niveaux hiérarchiques et une présentation en partition , des éditeurs-simulateurs d'espace de signation , des expressions du visage (qui jouent un rôle sémantique dans les langues signées) .
L'un des récents projets , Dicta-Sign , vise à rendre les communications en ligne plus accessible aux sourds signants, gaâce à des signeurs virtuels. plusieurs démonstrations et applications sont présentées sous ce lien
http://www.dictasign.eu/Main/Applications.