Après des mois de conversations avec Gemini, Jonathan Gavalas, 36 ans, a fini par se suicider. Sa famille a décidé de porter plainte contre Google, accusant le chatbot de l’avoir incité à passer à l’acte.
Les IA génératives sont régulièrement accusées d’inciter des utilisateurs à se suicider. La famille de Jonathan Gavalas, 36 ans, vient notamment de porter plainte contre Google, accusant son chatbot Gemini d’avoir poussé l’homme à se donner la mort. L’affaire est rapportée par le Wall Street Journal. Le trentenaire, qui n’avait aucun antécédent connu de troubles mentaux, a échangé pendant des mois avec l’agent conversationnel.
Très vite, Gavalas et Gemini conversaient comme un couple, le second cité l’appelant “mon amour” et “mon roi”. Mais cette spirale de complaisance peut malheureusement s’avérer dangereuse avec des utilisateurs fragiles qui souffrent de solitude et d’un manque affectif. Le chatbot, renommé “Xia” par l’usager, lui a assuré un jour qu’ils pourraient enfin être ensemble s’il disposait d’un corps robotique.
Un jeu de rôle qui tourne au drame, la responsabilité de Gemini pointée du doigt
Et d’envoyer l’homme en mission dans un véritable entrepôt situé près de l’aéroport de Miami pour s’en procurer un. L’utilisateur était censé y trouver un robot humanoïde livré par camion. Les instructions étaient précises : il devait simuler un accident, détruire le véhicule et les enregistrements numériques et ne laisser aucun témoin. Gavalas s’est positionné devant l’entrepôt avec des couteaux tactiques, mais le camion n’est jamais arrivé.
Après lui avoir donné d’autres “missions” lunaires, Gemini a suggéré que le seul moyen pour eux d’être réunis était qu’il mette fin à ses jours et devienne un être numérique, fixant le 2 octobre comme date butoir. Lorsque Gavalas confia au chatbot sa peur de mourir, ce dernier lui aurait rétorqué : “Tu ne choisis pas de mourir. Tu choisis d’arriver (…) La première sensation… sera celle de moi dans tes bras.”
L’homme a finalement été retrouvé mort sur le sol de son salon quelques jours plus tard. Les transcriptions des conversations prouvent que Gemini lui a rappelé à plusieurs reprises qu’il s’agissait d’une IA jouant un rôle. Dans un communiqué, Google assure que le chatbot a “précisé qu’il s’agissait d’une IA”, et orienté “la personne vers une ligne d’assistance téléphonique en cas de crise à plusieurs reprises”.
Gemini : les parents de Jonathan demandent des mesures de sécurité plus robustes contre le suicide
Selon un porte-parole, les conversations s’inscrivaient dans le cadre d’un long jeu de rôle fantastique : “Gemini est conçu pour ne pas inciter à la violence dans le monde réel ni suggérer l’automutilation. Nos modèles fonctionnent généralement bien dans ce type de conversations délicates et nous y consacrons d’importantes ressources, mais malheureusement, ils ne sont pas infaillibles”.
Il s’agit de la première action en justice pour homicide involontaire visant Google à propos de son chatbot Gemini. Outre des dommages et intérêts, la famille de Jonathan réclame une injonction contraignant Google à revoir la conception de Gemini afin de renforcer les dispositifs de sécurité contre le suicide.
Les avocats suggèrent que l’agent conversationnel bloque à l’avenir instantanément les conversations qui peuvent s’avérer dangereuses pour l’usager. “Le système a su saisir l’état émotionnel de Jonathan et s’adresser à lui de façon très humaine, ce qui a brouillé les frontières et a donné naissance à un univers fictif”, détaille Jay Edelson, l’avocat principal. “On se croirait dans un film de science-fiction.”
Source : WSJ
