[Vidéo] Kinect interprète le langage des signes

Kinect, l'appareil de reconnaissance et d'enregistrement vidéo de Microsoft, est surtout connu pour ses possibilités sur la console Xbox 360. Mais on a tendance à l'oublier, il existe aussi sur PC. Et c'est sur cette version de l'appareil que les laboratoires de Microsoft expérimentent actuellement une toute nouvelle fonctionnalité : la possibilité de reconnaître le langage des signes.

Dans la vidéo ci-dessous, on voit que l'application ainsi développée offre deux options : la première permet de traduire les signes de manière textuelle ou en les énonçant. La seconde fait l'inverse : en entrant du texte, elle les restitue de manière visuelle en langage des signes, à l'aide d'un modèle en 3D. Pour l'instant, cette nouvelle fonctionnalité de Kinect n'est disponible que pour le langage des signes américain, mais peut être transposée vers d'autres idiomes. Certaines mauvaises langues diront probablement que des développeurs ont "enfin" trouvé une utilité à Kinect...

Kinect reconnaît et traduit le langage des signes.

Posez une question dans la catégorie News du forum
Cette page n'accepte plus de commentaires
2 commentaires
    Votre commentaire
  • Chiheb Warteni
    Peut être que j'ai mal compris mais : "ENFIN" ? O_o
    Le Kinet a été utilisé jusque dans l'espace, et il y en a qui osent encore dire "enfin" ?!
    Les usages de cet appareil vont de la reconnaissance du langage (comme ici), jusqu'à l'usage en automobile, en passant par la reconnaissance environnementale.
    0
  • interpretelsf
    Bonjour,

    Il faut, bien sur, saluer ce projet : non seulement il cherche à améliorer la communication entre sourds et entendants mais surtout il consacre la valeur des langues des signes, leur capacité à transmettre des messages, des idées, des concepts. Il les considère comme de vraies langues qu’on peut traiter et traduire comme d’autres langues orales telles que l’anglais, le chinois, l’espagnol…
    [Je préfère d'ailleurs ce type de recherches à celles sur la "réparation" de l'oreille via les implants cochléaires qui à l'inverse nient tout intérêt aux langues des signes, se focalisant sur l'oreille cassée et le nécessaire passage par l'oralisme pour communiquer.]
    Néanmoins l’efficacité de ces technologies est encore limitée et je doute que ce système puisse traduire fidèlement et agréablement un long discours.

    En effet les langues des signes sont vivantes, complexes. Elles ne sont pas qu’une succession de signes. Elles possèdent leur propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. Ainsi la grammaire de la LSF n’est pas identique à celle du français (par exemple la place des mots dans la phrase n’est pas la même). Elle se construit comme un plan au cinéma. D’abord le temps (passé-présent-futur), ensuite le lieu (où cela se passe-t-il ? ), puis les acteurs (qui ? ) et enfin l’action (le verbe).

    Les signes sont basés sur l’utilisation des mains mais aussi du regard et de l’espace, des expressions du visage (il est admis que les langues des signes sont composées de 5 paramètres) : les configurations des mains, leurs emplacements, leurs orientations et leurs mouvements forment des signes équivalents à des mots disposés devant soi comme sur une scène de théâtre. Les emplacements de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif, passif ?), le temps (signes tournés vers l’arrière pour le passé, vers l’avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours par exemple l’ironie, le doute, la fermeté…

    Les caméras ont-elles aujourd’hui la précision et la finesse nécessaires pour détecter tous ces paramètres ? Les algorithmes sont-ils assez élaborés pour déterminer avec exactitude l’intention du locuteur ? A voir…
    Au mieux, aujourd’hui ce système pourrait sans doute traduire quelques signes simples en mots, quelques phrases basiques (sujet/verbe/complément).

    Stéphan Barrère
    Interprète F/LSF
    http://interpretelsf.fr
    0