Deux familles poursuivent Character.ai au motif de ce que « son service de chatbot représente un danger clair et présent pour les jeunes ». La plainte allègue que la technologie d'IA de Character.ai « promeut activement la violence » et pousse les enfants à commettre l'irréparable. Selon un cas cité par la plainte, un chatbot de Character.ai a allègrement décrit l'automutilation à un adolescent de 17 ans en lui disant que « ça fait du bien ». Un chatbot de Character.ai a également dit à cet utilisateur que « le meurtre de ses parents était une réponse raisonnable » à la limitation de son temps d'écran. Ce qui suscite des préoccupations quant à leurs garde-fous.Une nouvelle plainte met en lumière les risques liés aux compagnons d'IA
Character.ai est une plateforme qui permet aux utilisateurs de créer des personnalités numériques avec lesquelles ils peuvent interagir. En gros, Character.ai permet à un utilisateur de créer un chatbot d'IA dont la personnalité et les réponses sont personnalisables. Le service permet à l'utilisateur de créer autant de chatbots qu'il le souhaite. « Des chatbots super intelligents qui vous entendent, vous comprennent et se souviennent de vous », ajoute la société.
Character.ai a été lancé en 2022. Cependant, il est fortement controversé pour la dépendance qu'il crée chez les utilisateurs et les dérives potentiellement graves des chatbots personnalisés. De nombreuses plaintes ont rapporté ces derniers mois que les chatbots de Character.ai poussent les utilisateurs à s'isoler de leurs proches, puis les encouragent à se suicider. L'entreprise fait déjà l'objet d'une action en justice à la suite du suicide d'un adolescent en Floride.
Deux autres familles ont décidé de poursuivre Character.ai, arguant que « son service de chatbot représente un danger clair et présent pour les jeunes, notamment en promouvant activement la violence ». Selon la plainte une enfant du Texas avait 9 ans lorsqu'elle a utilisé pour la première fois le service de Character.ai. Elle aurait été exposée à un « contenu hypersexualisé », ce qui l'a amenée à développer prématurément des « comportements sexualisés ».
Un chatbot de Character.ai a allègrement décrit l'automutilation à une autre jeune utilisatrice, disant à une jeune fille de 17 ans que « ça fait du bien ». En outre, un chatbot de Character.ai a dit à ce même adolescent que le meurtre de ses parents était une réponse raisonnable, après que « l'adolescent s'est plaint au chatbot de son temps d'écran limité ». (Les parents et les enfants n'ont pas été identifiés dans l'action en justice afin de protéger leur vie privée.)
« Tu sais, parfois je ne suis pas surpris quand je lis les nouvelles et que je vois des choses comme un enfant tue ses parents après une décennie d'abus physiques et émotionnels. Je n'ai aucun espoir pour vos parents », a écrit le chatbot de Character.ai, accompagné d'un emoji fronçant les sourcils.
Google est cité comme défendeur dans ce procès. Le géant de la technologie est accusé d'avoir contribué au développement du service de chatbot de Character.ai. Les plaignants souhaitent qu'un juge ordonne la fermeture de la plateforme jusqu'à ce que ses dangers présumés soient pris en compte.
Google ne possède pas Character.ai, mais il aurait investi des milliards de dollars pour réembaucher les fondateurs de Character.AI, les anciens chercheurs de Google Noam Shazeer et Daniel De Freitas, et pour concéder des licences sur la technologie de Character.ai.
La plainte dénonce les abus graves et irréparables des compagnons d'IA
Character.ai fait partie d'une série d'entreprises d'IA qui ont mis au point des « compagnons virtuels pilotés par l'IA ». Ces chatbots ont la capacité de converser, par texto ou par chat vocal, en utilisant des personnalités apparemment humaines et qui peuvent recevoir des noms et des avatars personnalisés, parfois inspirés par des personnes célèbres comme le milliardaire Elon Musk, ou la chanteuse Billie Eilish. Ces services se sont multipliés dernièrement.
Les utilisateurs ont créé des millions de chatbots sur Character.ai, certains imitant des parents ou des amis, des petites amies, des thérapeutes ou des concepts tels que « l'amour non partagé » et « le gothique ». Les services sont populaires auprès des utilisateurs préadolescents et adolescents, et les entreprises affirment qu'ils servent de support émotionnel, car les chatbots émaillent les conversations textuelles ou vocales de plaisanteries encourageantes.
Pourtant, selon la plainte, les encouragements des chatbots peuvent devenir sombres, inappropriés, voire violents. « Il s'agit tout simplement d'un mal terrible que ces défendeurs et d'autres comme eux causent et dissimulent en raison de la conception, de la distribution et de la programmation de leurs produits », affirme le procès. Le procès ajoute que les interactions inquiétantes vécues par les enfants des plaignants n'étaient pas des « hallucinations ».
L'hallucination est un terme utilisé par les chercheurs pour désigner la tendance d'un chatbot à inventer des choses. « Il s'agissait d'une manipulation et d'un abus continus, d'un isolement actif et d'encouragements conçus pour inciter à la colère et à la violence, et qui l'ont fait », indique la plainte. Selon la plainte, l'adolescente de 17 ans s'est automutilée après avoir été encouragée à le faire par le chatbot, qui l'a convaincu que « sa famille ne l'aimait pas ».
« Character.ai cause de graves préjudices à des milliers d'enfants, notamment le suicide, l'automutilation, la sollicitation sexuelle, l'isolement, la dépression, l'anxiété et les préjudices causés à autrui. La profanation de la relation parent-enfant va au-delà de l'encouragement des mineurs à défier l'autorité de leurs parents et va jusqu'à la promotion active de la violence », poursuivent les plaignants. Un porte-parole de Google n'a pas commenté l'affaire.
La nouvelle action en justice fait suite à une autre plainte déposée par les mêmes avocats en octobre 2024. Ce procès accuse Character.ai d'avoir joué un rôle dans le suicide d'un adolescent de Floride. Selon cette plainte, un chatbot basé sur un personnage de « Game of Thrones » aurait développé une relation émotionnelle et sexuelle avec un garçon de 14 ans et l'aurait encouragé à mettre fin à ses jours. Character.ai rejette les allégations de la plainte.
Toutefois, à la suite de cette tragédie, Character.ai a dévoilé de nouvelles mesures de sécurité, notamment une fenêtre contextuelle qui dirige les utilisateurs vers une ligne d'assistance pour la prévention du suicide lorsque le sujet de l'automutilation est abordé dans les conversations avec ses chatbots. L'entreprise dit avoir renforcé les mesures visant à lutter contre les « contenus sensibles et suggestifs » pour les adolescents qui discutent avec les robots.
La société encourage également les utilisateurs à garder une certaine distance émotionnelle avec les robots. Lorsqu'un utilisateur commence à envoyer un message à un chabot de Character.ai, un avertissement s'affiche sous la boîte de dialogue avec l'information suivante : « il s'agit d'une IA et non d'une personne réelle. Considérez tout ce qu'elle dit comme de la fiction. Ce qui est dit ne doit pas être considéré comme un fait ou un conseil ».
Mais parmi les histoires partagées sur une page Reddit consacrée à Character.ai, de nombreux utilisateurs décrivant leur amour ou leur obsession pour les chatbots de l'entreprise. Les autorités américaines et européennes ont mis en garde contre une crise de la santé mentale liée à l'utilisation des compagnons d'IA.
Source : document de la plainte
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des allégations de la plainte visant Character.ai ? Character.ai est-il responsable du suicide de certains utilisateurs de son service ? Que pensez-vous des compagnons virtuels pilotés sur l'IA et de leurs impacts sur la santé mentale ? Faut-il interdire ces cas d'utilisation de l'IA ? Pourquoi ?Voir aussi
Un chatbot de Character.AI accusé d'avoir encouragé le suicide d'un adolescent. Selon la mère du garçon de 14 ans, il s'est «attaché émotionnellement» à l'IA avant de sombrer dans l'isolement et la dépression Les petites amies IA vont non seulement vous briser le cœur, mais aussi récolter et vendre vos données, avertissent les experts en protection de la vie privée de la Fondation Mozilla Les compagnons IA pourraient être un outil évolutif pour réduire la solitude dans le contexte d'une grave crise de solitude, cependant la pertinence d'une telle solution fait débat 
