Google met à jour Gemini pour que l’IA améliore sa prise en charge des personnes en détresse. L’objectif est notamment de faciliter l’accès à des ressources dès que la conversation laisse entrevoir une situation de crise.
Certaines personnes en détresse échangent frénétiquement avec des agents conversationnels dopés à l’IA. Pour y faire face, les chatbots comme Gemini sont censés détecter les crises de santé mentale et orienter les utilisateurs vulnérables vers des organismes d’assistance appropriés. Mais cela n’est pas infaillible. Dernièrement, des parents ont notamment porté plainte contre Google, accusant Gemini d’avoir poussé leur fils de 36 ans au suicide.
Dans ce contexte lourd, le géant de l’intelligence artificielle vient d’annoncer une série de mises à jour sur Gemini visant à mieux encadrer les usagers fragiles. “Nous sommes conscients que les outils d’IA peuvent engendrer de nouveaux défis, mais nous sommes convaincus qu’à mesure qu’ils s’améliorent et que leur utilisation se généralise, une IA responsable peut contribuer positivement au bien-être mental de chacun”, estime Google sur son blog.
Gemini promet de mieux accompagner les utilisateurs en détresse psychologique
Gemini affiche désormais un nouveau module “Aide” élaboré avec des experts cliniques pour simplifier la prise en charge. Lorsque le chatbot détecte des signaux de crise suicidaire ou d’automutilation, une interface simplifiée s’affiche. Celle-ci permet d’accéder facilement aux ressources d’écoute d’urgence (par chat, appel, SMS ou via le site du service d’aide). Les réponses données par Gemini inciteront l’utilisateur à demander de l’aide. L’interface restera clairement visible pendant toute la durée de la conversation.
Les équipes de Google ont entraîné Gemini à détecter les situations de crise mentale aiguë. L’objectif est d’orienter les usagers vers des interlocuteurs adaptés, le chatbot ne remplaçant “pas les soins cliniques professionnels, la thérapie ou le soutien en cas de crise pour les personnes qui en ont besoin”. L’agent conversationnel est censé orienter l’utilisateur vers des ressources concrètes, l’inciter à chercher de l’aide tout en évitant de conforter de fausses croyances et des comportements dangereux.
Des garde-fous spécifiques ont également été déployés pour les usagers mineurs. Gemini ne peut pas jouer le rôle d’un compagnon virtuel, se prétendre humain ou simuler une forme d’intimité. L’IA est également configurée pour ne pas encourager le harcèlement ou l’intimidation.
On peut saluer l’arrivée de ces nouveaux dispositifs tout en gardant à l’esprit qu’ils ne pourront pas couvrir tous les angles morts. “Nos modèles fonctionnent généralement bien dans ce type de conversations délicates et nous y consacrons d’importantes ressources, mais malheureusement, ils ne sont pas infaillibles”, concédait ainsi un porte-parole de Google après le suicide de l’usager Jonathan Gavalas.
