Un nouveau projet de loi californien exige que les entreprises d'IA rappellent aux enfants que les chatbots sont des intelligences artificielles et non des humains. Les entreprises d'IA doivent soumettre des rapports au gouvernement concernant les pensées suicidaires des enfants et la fréquence des sujets de discussion. Le projet de loi vise à protéger la santé mentale des enfants en limitant les "modèles d'interaction addictifs". La Californie a récemment proposé un projet de loi intitulé SB243 visant à protéger les enfants des risques potentiels associés aux chatbots d'intelligence artificielle. Ce projet de loi, présenté par le sénateur californien Steve Padilla, exige principalement des entreprises d'IA qu'elles rappellent régulièrement aux mineurs que les chatbots sont en fait des intelligences artificielles, et non des humains.
Le contexte de ce projet de loi est étroitement lié à une action en justice pour décès injustifié intentée par des parents à l'encontre de Character.AI. Ce procès affirme que le chatbot d'IA personnalisé de l'entreprise présente un "danger extrême" parce que leur enfant a finalement choisi de se suicider après une interaction prolongée avec le chatbot. Une autre plainte accuse l'entreprise d'envoyer des "documents nuisibles" à des adolescents. Character.AI a réagi en annonçant qu'elle mettait au point des fonctions de contrôle parental et lançait de nouveaux modèles d'IA conçus pour bloquer les contenus "sensibles ou suggestifs" afin de garantir la sécurité des adolescents.
L'objectif principal du projet de loi est de prévenir les problèmes de dépendance, d'isolement et de désinformation que les enfants peuvent rencontrer lorsqu'ils utilisent des chatbots. En plus d'exiger des entreprises d'IA qu'elles émettent des rappels réguliers, le projet de loi leur interdit d'utiliser des "modèles d'interaction addictifs" et les oblige à soumettre des rapports annuels au département californien des services de soins de santé.
Ces rapports doivent indiquer le nombre de cas où des pensées suicidaires ont été détectées chez des utilisateurs adolescents, ainsi que le nombre de fois où les chatbots ont mentionné ce sujet. En outre, les entreprises d'IA doivent informer les utilisateurs que leurs chatbots peuvent ne pas convenir à certains enfants.
Le sénateur Steve Padilla a déclaré lors d'une conférence de presse : "Nos enfants ne sont pas des cobayes pour les entreprises technologiques ; ils ne devraient pas faire l'objet d'expériences au détriment de leur santé mentale. Nous devons fournir des protections de bon sens aux utilisateurs de chatbots pour empêcher les développeurs d'utiliser des méthodes qu'ils savent être addictives et prédatrices."
Fait intéressant, les initiatives de ce genre n'aboutissent pas forcément à cause de la propagande des entreprises d'IA. Un rapport révèle que la Silicon Valley a réussi à faire passer pour des "alarmiste" et des "catastrophistes" les personnes qui mettaient en garde contre les dangers potentiels de l'IA. Le lobbying intense des Big Tech et des startups d'IA leur a également permis de contrecarrer les projets de loi visant à réglementer la technologie.
Alors que les États et le gouvernement fédéral se concentrent de plus en plus sur la sécurité des plateformes de médias sociaux, les chatbots d'IA devraient devenir le prochain point de mire des législateurs. Cependant, le président américain élu Donald Trump pourrait dérouler le tapis rouge à la Silicon Valley, en supprimant toutes les contraintes auxquelles elle fait face actuellement.
Le sénateur californien Padilla présente un projet de loi visant à protéger les enfants contre les pratiques prédatrices des chatbots
Le sénateur Steve Padilla (San Diego) a présenté le projet de loi 243 du Sénat, qui exigera des développeurs de programmes qu'ils mettent en œuvre des mesures de protection essentielles pour protéger les enfants et les autres utilisateurs impressionnables contre les aspects addictifs, isolants et influents des chatbots d'intelligence artificielle (IA).
À mesure que la technologie de l'IA se développe, les services de chatbot sophistiqués gagnent en popularité auprès des utilisateurs de tous âges. Les chatbots sociaux, conçus pour servir de compagnons à l'IA, ont gagné des millions d'utilisateurs, dont beaucoup sont des enfants. Cependant, comme la technologie est encore en cours de développement, elle laisse les utilisateurs servir de sujets d'essai pendant que les développeurs continuent à affiner les paramètres de modélisation.
De nombreux exemples troublants montrent que les interactions entre les chatbots et les enfants peuvent être dangereuses. En 2021, lorsqu'une fillette de 10 ans a demandé à un chatbot d'IA de lui proposer un "défi amusant à relever", on lui a demandé de "brancher un chargeur de téléphone à mi-chemin dans une prise murale, puis de toucher une pièce de monnaie sur les broches exposées". En 2023, des chercheurs se faisant passer pour une jeune fille de 13 ans ont reçu des instructions sur la manière de mentir à ses parents pour partir en voyage avec un homme de 31 ans et perdre sa virginité avec lui. Ces interactions peuvent sembler anodines, mais des recherches menées à l'université de Cambridge montrent que les enfants sont plus susceptibles de considérer les chatbots comme des quasi-humains et leur font donc davantage confiance qu'aux adultes. Ainsi, lorsque le dialogue entre les enfants et les chatbots se passe mal, les conséquences peuvent être désastreuses.
En Floride, un enfant de 14 ans a mis fin à ses jours après avoir noué une relation romantique, sexuelle et émotionnelle avec un chatbot. Les chatbots sociaux sont présentés comme des compagnons utiles aux personnes seules ou déprimées. Cependant, lorsque Sewell Setzer, 14 ans, a fait savoir à son compagnon IA qu'il était en difficulté, le robot n'a pas été en mesure de faire preuve d'empathie ou de fournir les ressources nécessaires pour que Setzer reçoive l'aide dont il avait besoin. La mère de Setzer a intenté une action en justice contre l'entreprise qui a créé le chatbot, affirmant que non seulement l'entreprise a utilisé des caractéristiques de conception addictives et des sujets inappropriés pour attirer son fils, mais que le bot l'a encouragé à « rentrer à la maison » quelques secondes seulement avant qu'il ne mette fin à ses jours. Il s'agit là d'un nouvel exemple terrifiant de la manière dont les développeurs d'IA mettent en péril la sécurité de leurs utilisateurs, en particulier des mineurs, en l'absence de mesures de protection appropriées.
En raison de la nouveauté de cette technologie, les chatbots d'IA ne sont pas soumis à la réglementation nécessaire pour garantir que les utilisateurs vulnérables, tels que les enfants, sont correctement protégés contre les dangers potentiels de cette technologie. Le projet de loi SB 243 offrirait aux plateformes de chatbot les garanties nécessaires pour protéger les utilisateurs, en particulier les mineurs.
"Nos enfants ne sont pas des rats de laboratoire sur lesquels les entreprises technologiques peuvent faire des expériences au détriment de leur santé mentale", a déclaré le sénateur Padilla. "Nous avons besoin de protections de bon sens pour les utilisateurs de chatbots afin d'empêcher les développeurs d'employer des stratégies qu'ils savent être addictives et prédatrices."
Le projet de loi SB 243 exigerait des opérateurs qu'ils empêchent les modèles d'engagement addictifs afin d'éviter que les utilisateurs ne deviennent dépendants des plateformes. En outre, le projet de loi exigerait un rappel périodique du fait que les chatbots sont générés par l'IA et ne sont pas humains. Ce projet de loi exigerait également une déclaration d'information pour avertir les enfants et les parents que les chatbots pourraient ne pas convenir aux mineurs. Enfin, ce projet de loi exigerait un rapport annuel sur le lien entre l'utilisation des chatbots et les idées suicidaires afin d'obtenir une idée plus complète de la manière dont les chatbots peuvent avoir un impact sur la santé mentale des utilisateurs.
Le projet de loi 243 est soutenu par des chercheurs qui travaillent à l'avant-garde de l'intersection entre l'IA et les consommateurs, ainsi que par des défenseurs de la protection de l'enfance.
"Nous avons de plus en plus de raisons de nous inquiéter des risques que les chatbots relationnels font peser sur la santé des mineurs", a déclaré Jodi Halpern, docteur en médecine, professeur de bioéthique à l'université de Berkeley et codirecteur du Centre Kavli pour l'éthique, la science et le public. "Nous ne permettrons jamais que des mineurs soient exposés à des produits qui pourraient leur nuire sans tests de sécurité et sans garde-fous. À notre connaissance, ce projet de loi est le premier à l'échelle nationale à faire un premier pas important vers la création de ces garde-fous par le biais d'un contrôle de la sécurité. Nous félicitons le sénateur Padilla d'avoir réuni plusieurs parties prenantes autour de la table pour traiter de manière proactive ce problème émergent."
"L'Institut de défense des enfants de la faculté de droit de l'Université de San Diego félicite le sénateur Padilla d'avoir présenté le projet de loi SB 243, qui vise à juste titre à prévenir les deux pires aspects de la menace que représente l'IA-chatbot pour la sécurité des enfants : les enfants sont trompés en pensant qu'ils parlent à une vraie personne et les enfants sont manipulés par les Big Tech qui font du profit à tout prix et deviennent, contre leur gré, accros à l'idée de passer du temps avec de fausses personnes de l'IA qui ne sont pas programmées pour veiller à l'intérêt supérieur des enfants plutôt qu'à celui de leurs vrais amis et de leur famille." - Ed Howard, avocat principal à l'Institut pour la défense des enfants, qui a récemment rédigé un article d'opinion sur les dangers des chatbots compagnons.
"Alors que près de la moitié des adolescents américains sont confrontés à des problèmes de santé mentale et que le suicide est la deuxième cause de décès chez les jeunes âgés de 10 à 24 ans, les risques d'un engagement non réglementé de l'IA ne peuvent être ignorés", a déclaré Ria Babaria, directrice de la politique de santé mentale au sein du Youth Power Project. "À mesure que les chatbots deviennent plus sophistiqués, les jeunes vulnérables peuvent se tourner vers eux pour être rassurés sur leurs luttes, leurs émotions ou même leurs pensées nuisibles, sans que les jeunes ne reconnaissent le manque de surveillance humaine et de responsabilité. Ce projet de loi est une étape essentielle pour s'assurer que l'IA ne manipule pas l'engagement, ne favorise pas les interactions nuisibles ou ne remplace pas un véritable soutien humain. Si l'IA doit exister dans ces espaces, nous devons la réglementer car la protection de la santé mentale des jeunes doit passer avant tout."
"Nous sommes fiers de soutenir le sénateur Padilla dans l'établissement de garde-fous solides pour les compagnons de chatbot d'IA générative, qui façonnent de plus en plus - et potentiellement nuisent - à la vie des jeunes", a déclaré Amina Fazlullah, responsable du plaidoyer en matière de politique technologique pour Common Sense Media. "Le projet de loi 243 comprend des dispositions qui apporteront une transparence indispensable aux risques associés à cette technologie et, en fin de compte, aideront le public à mieux comprendre et à traiter l'impact profond que les interactions de type humain pilotées par l'IA peuvent avoir sur les esprits en développement."
Source : Introduction du projet de loi SB 243
Et vous ?
Pensez-vous que ce projet de loi est crédible ou pertinent ? Quel est votre avis sur le sujet ?Voir aussi :
Un chatbot de Character.ai a suggéré à un enfant de tuer ses parents pour lui avoir imposé « un temps d'écran limité », selon une plainte qui allègue que le service promeut activement la violence Il y a 5 % de chances que l'IA super intelligente provoque l'extinction de l'homme, d'après certains scientifiques en opposition à d'autres d'avis que cette perspective relève de l'illusion Régulation allégée, développement de l'IA, compétitivité internationale : les grandes enseignes de la Tech misent sur un rapprochement avec Donald Trump, pour redessiner leurs relations avec le gouvernement