IA: Helpicto offre un précieux outil de communication aux enfants souffrant d’autisme

Difficultés de communication, enfants qui se frustrent, découragement des parents : le quotidien des familles touchées par l’autisme est souvent compliqué. L’intelligence artificielle améliore déjà cette situation, en permettant aux autistes et aux adultes qui n’ont pas accès à la parole de retrouver, via l’application Helpicto, une communication simple et fluide.

Le bonheur de moments partagés, d’activités en famille, de soirées sans cris, sans crise. Des plaisirs simples, que Karine avait trop longtemps oubliés. « Pendant longtemps, ça a été compliqué, notre quotidien. Surtout pendant l’adolescence d’Arthur, car il se frustrait et ça s’agaçait souvent. »

Arthur, le dernier de ses quatre enfants, dont les « troubles du spectre autistique » sont apparus quand il était à la crèche. Le début d’années compliquées : « Il s’agitait, criait quand il n’était pas content. C’était difficile à gérer car nous avions beaucoup de mal à comprendre ce qu’il fallait faire ». Car Arthur, ne parle pas, ne maitrise pas le langage.

« Troubles des interactions, intérêts restreints et troubles de la communication sont typiques de l’autisme » explique Carine Mantoulan, psychologue et directrice de l’association toulousaine InPACTS, où Arthur est suivi depuis ses 3 ans. « Les personnes souffrant de troubles autistiques ont du mal à traiter la voix humaine, qu’elles ne distinguent pas des bruits ambiants. C’est donc très difficile pour elles – et pour leur entourage – de communiquer ». 

Les classeurs de pictogramme, une solution limitée

 Seule solution, alors, des classeurs à images, issus de la méthode PECS®. Le principe : le classeur comporte des images et des pictogrammes d’objets du quotidien (lit, gâteau, voiture, etc.) ; les familles les sélectionnent et les assemblent pour construire des phrases. Une amélioration réelle, mais qui présentait encore des inconvénients : « les classeurs nous ont aidés, mais ce n’était pas non plus une solution idéale. Ça prend du temps, on n’a jamais la bonne carte, on perd les images… Et ça prend de la place, donc on ne l’emmène pas à chaque fois, alors qu’il faudrait l’avoir toujours avec soi ».

Consciente de ces limites, Carine Mantoulan se tourne alors vers une société toulousaine, Equadex, qui va développer avec l’aide de Microsoft une appli révolutionnaire : Helpicto.

« Pour répondre à la demande de Carine, nous souhaitions mettre sur le marché une technologie innovante, capable de traduire le langage naturel en un langage universel, facile à utiliser et à comprendre pour une personne non verbale », explique Anthony Allebée, directeur de la technologie chez Equadex. Le but : faciliter la communication entre les enfants autistes et les parents, enseignants, prestataires de santé – tous les adultes amenés à intervenir auprès de l’enfant.

Les ingénieurs d’Equadex ont alors l’idée de créer une application, disponible sur tablettes et smartphones, pour que les familles l’aient toujours à portée de main. Intégrant une base de données de pictogrammes, l’application convertirait les mots parlés en séries d’images. Restait à passer de l’idée à sa réalisation…

 

L’intelligence artificielle à portée de tous

 Les fonctionnalités nécessaires exigeaient une technologie d’intelligence artificielle (IA) puissante. Mais Equadex ne voulait, ni ne pouvait, créer de toutes pièces tous les outils nécessaires. La solution est venue des API REST Cognitive Services de Microsoft et des outils disponibles sur la plate-forme cloud Microsoft Azure, qui rendent possibles les prouesses d’Helpicto : identifier des mots prononcés, les convertir en une phrase puis en images, interpréter le ton pour reconnaitre une question, etc.

« Tout est pour ainsi dire prêt à l’emploi sur Azure. Cela nous permet d’exploiter des choses qui étaient quasi-inaccessibles auparavant : de la reconnaissance d’image, de la reconnaissance vocale et des traducteurs automatiques de langues », détaille Anthony Allebée. « Et l’une des grandes forces des API des Cognitive Services est qu’elles apprennent en continu. L’application s’améliore donc en permanence. »

Parler, se faire comprendre : un rêve devenu réalité

Karine s’empresse de la tester, avec succès : « le principe est simple : je parle, et Helpicto traduit ma phrase en images. Je pose une question à Arthur, par exemple « est-ce que tu veux goûter ?  » Helpicto comprend que c’est une question, traduit ma phrase en pictogramme et finit par un point d’interrogation. Arthur regarde et comprend ; il n’a plus qu’à cliquer sur un bouton vert ou rouge, pour répondre « oui » ou « non » ».

Fini la frustration : Karine peut communiquer plus facilement avec son fils. « Helpicto transforme notre quotidien. Nous disposons désormais d’une interface qui s’adapte à tous les contextes et à toutes les étapes de la vie », se réjouit le docteur Mantoulan. « Cela renforce la spontanéité des échanges, favorise l’autonomie personnelle et peut véritablement contribuer à renouer certains liens. »

De nouvelles fonctionnalités facilement intégrées

 « Nous voulions aussi que les utilisateurs puissent ajouter leurs propres photos à l’application, pour encore mieux répondre aux besoins des enfants », explique Anthony Allebée. « Cela permet aux enfants de voir à l’écran leurs propres images, leur propre école, des photos de leurs frères et sœurs, de leurs éducateurs… Cela leur donne des repères et facilite encore leur compréhension. »

Les développeurs d’Equadex et de Microsoft ont donc organisé un « hackfest », marathon de développement de trois jours, pour ajouter ces fonctionnalités. Le hackfest a aussi permis d’intégrer une API de processus multilingues. Une version internationale d’Helpicto, en anglais et en espagnol, va donc être lancée à l’automne 2018.

Un nouveau public pourra aussi bénéficier de l’appli : les personnes souffrant de troubles autistiques, bien sûr, mais aussi tous ceux atteints de troubles du langage. Les personnes ayant perdu l’usage de la parole, ayant subi un AVC ou atteintes d’Alzheimer pourront donc bientôt retrouver une communication fluidifiée avec leurs proches.

En parallèle de ce soutien à la belle aventure d’Helpicto, Microsoft a lancé un programme d’investissement de 25 millions de dollars sur 5 ans, « AI for accessibility ». Ou comment utiliser les avancées et la puissance de l’IA pour changer le monde et aider le milliard de personnes qui se trouvent en situation de handicap sur notre planète.