Du Kinect pour traduire le langage des signes

Tweet

Dans un article précédent, nous vous parlions de plusieurs utilisations intelligentes du dispositif Kinect développé par Microsoft : un accessoire pour la console Xbox fonctionnant comme un détecteur de mouvement qui permet une foule d’utilisation. Aujourd’hui nous vous présentons une application pour détecter et traduire le langage des signes.

Ce projet a été initié en Chine au travers de Microsoft Research. La première phase du projet a permis de créer un traducteur de la langue des signes en Chine, puis les chercheurs ont entrepris de traduire ces signes pour les interpréter et les transposer d'une langue à l'autre. Un malentendant chinois est donc en mesure de communiquer avec un américain directement via Kinect.

La technologie s’appuie sur le capteur Kinect et sur le moteur de recherche Bing pour les interpréter et les traduire. Cette traduction peut se présenter sous la forme d'un message texte couplé à une synthèse vocale compréhensible dans la langue du destinataire. Si ce dernier est également affecté d'un handicap, la traduction peut être directement interprétée sous forme de signes grâce à un avatar virtuel.

Outre les communications basiques, ce dispositif pourrait par exemple trouver sa place dans les cabinets médicaux afin de permettre aux médecins de mieux comprendre leurs patients handicapés. Idéalement, le mécanisme pourrait d'ailleurs leur ouvrir de nouvelles opportunités d'emplois nécessitant des interactions constantes avec le public : réception, information...

Une belle initiative que l’on verra surement se développer dans les années à venir.

Mots clés : Kinect • langage des signes • langage • traduction • sourd • muet • microsoft • chine • xbox • communication • innovation • handicapé

Lien : http://research.microsoft.com/en-us/collaboration/stories/kinect-sign-language-translator...