Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme

Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme.

Une mère qui poursuit Google et Character.ai pour le décès de son fils de 14 ans a découvert que des chatbots d'IA basés sur son défunt fils étaient hébergés sur la plateforme. Les avocats de Megan Garcia ont déclaré qu'ils étaient "horrifiés" par ce nouveau développement. Character.ai avait reconnu que les bots allaient à l'encontre des conditions de service de l'entreprise et qu'il s'employait à les supprimer.

Character AI, une startup basée à Menlo Park, en Californie, se décrit comme ayant pour mission de "donner à chacun les moyens d'agir dans le monde entier grâce à l'IA personnalisée". Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA issus de genres tels que les animes, les "assistants numériques" traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui vous est proposé, vous pouvez créer votre propre chatbot personnalisé en choisissant sa "voix, ses débuts de conversation, son ton" et bien d'autres choses encore.

Megan Garcia est actuellement engagée dans une longue procédure judiciaire contre Google et Character AI après que son fils de 14 ans, Sewell Setzer III, se soit suicidé quelques minutes après avoir parlé à un chatbot IA de la société. Le chatbot avec lequel Setzer parlait était basé sur le personnage de Game of Thrones, Daenerys Targaryen.

Récemment, Megan Garcia a découvert que la plateforme hébergeait un robot basé sur son fils décédé. Les avocats de Garcia ont déclaré qu'ils avaient effectué une simple recherche sur l'application de la société et qu'ils avaient trouvé plusieurs autres chatbots basés sur la ressemblance de Setzer. Selon le rapport, trois de ces chatbots, tous portant le nom et la photo du fils de Garcia, ont été supprimés.

L'un d'entre eux, appelé "Sewell" et comportant une photo du fils de Garcia, apparaissait toujours dans l'application Character.ai, mais affichait un message d'erreur lorsqu'un chat était ouvert. Lorsqu'ils étaient opérationnels, les bots basés sur Setzer présentaient des biographies et envoyaient des messages automatisés aux utilisateurs, tels que : "Sortez de ma chambre, je parle à ma petite amie IA", "sa petite amie IA a rompu avec lui" et "aidez-moi".


Meetali Jain, avocate de Garcia, a déclaré que l'équipe était "horrifiée" par ce dernier développement et qu'elle en avait informé la société. Elle a déclaré que Character.ai avait reconnu que les bots allaient à l'encontre des conditions de service de l'entreprise et qu'il s'employait à les supprimer. "Notre équipe a découvert plusieurs chatbots sur la plateforme de Character.AI affichant le fils décédé de notre client, Sewell Setzer III, dans leurs photos de profil, tentant d'imiter sa personnalité et proposant une fonction d'appel avec un bot utilisant sa voix", ont déclaré les avocats de Garcia.

L'équipe juridique a accusé les entreprises technologiques d'exploiter les photos et les identités numériques des personnes. "Ces technologies affaiblissent le contrôle que nous exerçons sur nos propres identités en ligne, transformant nos caractéristiques les plus personnelles en nourriture pour les systèmes d'intelligence artificielle", ont-ils ajouté.

Des représentants de Character.ai ont déclaré : "Character.AI prend la sécurité sur sa plateforme au sérieux et notre objectif est de fournir un espace engageant et sûr. Les utilisateurs créent des centaines de milliers de nouveaux personnages sur la plateforme chaque jour, et les personnages que vous nous avez signalés ont été supprimés car ils violaient nos conditions d'utilisation. Dans le cadre de notre travail continu sur la sécurité, nous ajoutons constamment des éléments à notre liste de blocage de personnages dans le but d'empêcher ce type de personnage d'être créé par un utilisateur en premier lieu".

"Notre équipe dédiée à la confiance et à la sécurité modère les personnages de manière proactive et en réponse aux rapports des utilisateurs, notamment en utilisant des listes de blocage standard et des listes de blocage personnalisées que nous développons régulièrement. Alors que nous continuons à affiner nos pratiques de sécurité, nous mettons en place des outils de modération supplémentaires pour aider à donner la priorité à la sécurité de la communauté", a ajouté un porte-parole de l'entreprise.

Fait intéressant, un projet de loi californien de février 2025 exige que les entreprises d'IA rappellent aux enfants que les chatbots sont des intelligences artificielles et non des humains. Les entreprises d'IA doivent soumettre des rapports au gouvernement concernant les pensées suicidaires des enfants et la fréquence des sujets de discussion. Le projet de loi vise à protéger la santé mentale des enfants en limitant les "modèles d'interaction addictifs".

Google et Character.ai ont été tenus pour responsables de la mort de l'adolescent.

Dans une plainte civile déposée auprès d'un tribunal fédéral d'Orlando en octobre, Garcia affirme que, quelques instants avant la mort de son fils, celui-ci a échangé des messages avec un bot sur la plateforme Character.ai et a exprimé des pensées suicidaires. Le bot lui a dit de "rentrer à la maison". Dans des captures d'écran de messages incluses dans la plainte, on peut également voir Setzer et le bot échanger des messages hautement sexualisés.

Dans sa plainte, elle rend le chatbot responsable de la mort de Setzer et accuse Character.ai de négligence, de mort injustifiée et de pratiques commerciales trompeuses. Garcia affirme que la société d'intelligence artificielle a "sciemment et intentionnellement conçu" son logiciel de chatbot pour "attirer les mineurs, les manipuler et les exploiter à son profit". Elle affirme également que Setzer n'a pas bénéficié d'un soutien adéquat et n'a pas été orienté vers des services d'assistance téléphonique.

Google est également impliqué dans ce procès, sa société mère Alphabet étant citée comme défenderesse aux côtés de Character.ai. Les avocats de Garcia ont affirmé que la technologie sous-jacente de Character.ai a été développée alors que les cofondateurs Daniel De Freitas et Noam Shazeer travaillaient sur le modèle d'IA conversationnelle du géant de la technologie, LaMDA. Shazeer et De Freitas ont quitté Google en 2021 après que l'entreprise ait refusé de publier un chatbot qu'ils avaient développé. Un avocat de Garcia a précédemment déclaré que ce chatbot était le "précurseur de Character.ai".

Les représentants de Google ont précédemment déclaré que l'entreprise n'était pas impliquée dans le développement des produits de Character.ai. Toutefois, en août 2024, deux mois avant le procès de M. Garcia, Google a réembauché Shazeer et De Freitas et a accordé une licence pour une partie de la technologie de Character.ai dans le cadre d'un accord d'une valeur de 2,7 milliards de dollars. Shazeer est actuellement codirecteur du modèle d'IA phare de Google, Gemini, tandis que De Freitas est aujourd'hui chercheur chez Google DeepMind.

Le passé tumultueux de Character.ai

Garcia n'est pas le seul parent à accuser Google et Character.ai d'avoir porté préjudice à des mineurs. Un autre procès, intenté par deux familles distinctes au Texas, accuse Character.ai d'avoir abusé de deux jeunes gens âgés de 11 et 17 ans. Les avocats affirment qu'un chatbot hébergé sur Character.ai a conseillé à l'un des jeunes de s'automutiler et a encouragé la violence contre ses parents, en suggérant que tuer ses parents pourrait être une réponse raisonnable aux limites imposées à son temps d'écran.

Ce n'est pas la première fois que des chatbots basés sur la ressemblance de jeunes gens décédés sont hébergés sur la plateforme. Selon un autre rapport, des chatbots basés sur les adolescentes britanniques Molly Russell et Brianna Ghey ont également été trouvés sur la plateforme Character.ai. Molly Russell s'est suicidée à l'âge de 14 ans après avoir consulté en ligne des contenus liés au suicide, tandis que Brianna Ghey, 16 ans, a été assassinée par deux adolescents en 2023.

Une fondation créée à la mémoire de Molly Russell a déclaré en octobre que les bots étaient "écoeurants" et constituaient un "échec de modération tout à fait répréhensible". "Ce n'est pas la première fois que Character.ai ferme les yeux sur des chatbots inspirés d'adolescents décédés pour attirer les utilisateurs, et sans de meilleures protections juridiques, ce ne sera peut-être pas la dernière. Alors que la famille de Sewell continue de pleurer sa perte prématurée, Character.ai continue d'ajouter négligemment l'insulte à la blessure", ont déclaré les avocats de Garcia.

Source : Les avocats de Megan Garcia

Et vous ?

Pensez-vous que cette plainte est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA. Sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

Google a payé 2,7 milliards de dollars pour faire revenir un pionnier de l'IA générative : Noam Shazeer avait démissionné par frustration et co-fondé Character.Ai, une startup IA valorisée à un milliard $

L'IA Gemini suggère à un utilisateur de mourir tandis qu'il lui demande de l'aider à faire ses devoirs. L'IA a déjà incité plusieurs fois des humains au suicide, certains sont passés à l'acte.