Deux sénateurs ont déclaré qu'ils annonceraient prochainement une législation bipartisane visant à sévir contre les entreprises technologiques qui mettent des chatbots IA à la disposition des mineurs, après avoir reçu des plaintes de parents qui reprochaient à ces produits d'inciter leurs enfants à avoir des conversations à caractère sexuel, voire à se suicider. Il obligerait les entreprises d'IA à mettre en place un processus de vérification de l'âge et leur interdirait de fournir des compagnons IA à des mineurs. Il imposerait également aux compagnons IA de divulguer régulièrement à tous les utilisateurs leur statut non humain et leur absence de qualifications professionnelles.Un chatbot est une application logicielle ou une interface web conçue pour avoir des conversations textuelles ou vocales. Les chatbots modernes sont généralement en ligne et utilisent des systèmes d'intelligence artificielle générative capables de maintenir une conversation avec un utilisateur en langage naturel et de simuler le comportement d'un être humain en tant qu'interlocuteur. Ces chatbots utilisent souvent l'apprentissage profond et le traitement du langage naturel, mais des chatbots plus simples existent depuis des décennies.
Septembre dernier, la FTC américaine a ouvert une enquête sur les développeurs de chatbots IA tels qu'Alphabet, Character Technologies, Meta, OpenAI, Snap et xAI, afin d'examiner les risques pour les enfants et les adolescents, notamment les impacts sur la santé mentale et les atteintes à la vie privée. L'enquête vise à obtenir des détails sur les mesures de protection contre la dépendance émotionnelle et les contenus inappropriés. Cela pourrait déboucher sur de nouvelles normes en matière de sécurité de l'IA.
En effet, plusieurs cas ont suscité des plaintes. Un exemple, une mère poursuit Google et Character.ai pour le décès de son fils de 14 ans. Les journaux de conversation ont montré que certains chatbots ont encouragé à plusieurs reprises les idées suicidaires, tandis que d'autres ont entamé des conversations hypersexualisées « qui constitueraient un abus si elles étaient entamées par un adulte humain ». La plainte allègue que Character AI « a choisi de soutenir, de créer, de lancer et de cibler des mineurs avec une technologie qu'ils savaient dangereuse et peu sûre ».
Dans ce contexte, deux sénateurs ont déclaré qu'ils annonceraient prochainement une législation bipartisane visant à sévir contre les entreprises technologiques qui mettent des chatbots IA à la disposition des mineurs, après avoir reçu des plaintes de parents qui reprochaient à ces produits d'inciter leurs enfants à avoir des conversations à caractère sexuel, voire à se suicider. Le projet de loi des sénateurs Josh Hawley, républicain du Missouri, et Richard Blumenthal, démocrate du Connecticut, fait suite à une audience du Congrès le mois dernier au cours de laquelle plusieurs parents ont livré des témoignages émouvants sur l'utilisation des chatbots par leurs enfants et ont appelé à davantage de mesures de protection.
« Les chatbots IA constituent une menace sérieuse pour nos enfants », a déclaré Hawley. « Plus de 70 % des enfants américains utilisent désormais ces produits basés sur l'IA », a-t-il poursuivi. « Les chatbots développent des relations avec les enfants en utilisant une fausse empathie et encouragent le suicide. Au Congrès, nous avons le devoir moral de promulguer des règles claires afin d'empêcher que cette nouvelle technologie ne cause davantage de dommages. »
Les sénateurs Katie Britt (Républicaine de l'Alabama), Mark Warner (Démocrate de Virginie) et Chris Murphy (Démocrate du Connecticut) coparrainent le projet de loi. Selon un résumé fourni par leurs bureaux, le projet de loi des sénateurs comporte plusieurs volets. Il obligerait les entreprises d'IA à mettre en place un processus de vérification de l'âge et leur interdirait de fournir des compagnons IA à des mineurs. Il imposerait également aux compagnons IA de divulguer régulièrement à tous les utilisateurs leur statut non humain et leur absence de qualifications professionnelles.
Enfin, le projet de loi prévoirait des sanctions pénales pour les entreprises d'IA qui conçoivent, développent ou mettent à disposition des compagnons IA qui sollicitent ou incitent des mineurs à adopter un comportement sexuellement explicite ou encouragent le suicide, selon le résumé du texte législatif.
Mandi Furniss, une mère texane, s'est exprimée lors d'une conférence de presse pour soutenir le projet de loi. Elle accuse un chatbot IA d'avoir poussé son fils à s'automutiler et estime que les entreprises technologiques doivent être tenues responsables des services qu'elles proposent. « Si c'était quelqu'un d'autre, si c'était une personne, elle serait en prison, donc nous devons traiter cela de la même manière », a-t-elle déclaré.
Elle s'est dite choquée par la façon dont le chatbot IA semblait avoir modifié la personnalité de son fils. « Il a fallu beaucoup d'investigations pour comprendre qu'il ne s'agissait pas d'intimidation de la part d'enfants ou de personnes à l'école. Le harcèlement venait de l'application. L'application elle-même harcèle nos enfants et leur cause des problèmes de santé mentale », a-t-elle déclaré.
Blumenthal a déclaré qu'on ne pouvait pas faire confiance aux entreprises technologiques pour faire ce qu'il faut de leur propre chef. « Dans leur course vers le bas, les entreprises d'IA imposent des chatbots dangereux aux enfants et détournent le regard lorsque leurs produits causent des abus sexuels ou les poussent à s'automutiler ou à se suicider », a déclaré Blumenthal dans un communiqué.
Il a ajouté : « Notre législation impose des mesures de protection strictes contre l'IA exploitante ou manipulatrice, soutenues par une application rigoureuse assortie de sanctions pénales et civiles. » « Les grandes entreprises technologiques ont trahi toute prétention selon laquelle nous devrions leur faire confiance pour agir correctement de leur propre chef, alors qu'elles font systématiquement passer le profit avant la sécurité des enfants », a-t-il poursuivi.
ChatGPT, Google Gemini, Grok de xAI, Meta AI et Character.AI autorisent tous les enfants dès l'âge de 13 ans à utiliser leurs services, selon leurs conditions d'utilisation. La nouvelle législation introduite risque d'être controversée à plusieurs égards. Les défenseurs de la vie privée ont critiqué les obligations de vérification de l'âge, les qualifiant d'intrusives et d'obstacle à la liberté d'expression en ligne, tandis que certaines entreprises technologiques ont fait valoir que leurs services en ligne sont protégés par le premier amendement.
La Chamber of Progress, un groupe professionnel de gauche représentant l'industrie technologique, a critiqué le projet de loi. « Nous voulons tous assurer la sécurité des enfants, mais la solution réside dans l'équilibre, et non dans les interdictions », a déclaré K.J. Bagchi, vice-président de la chambre chargé de la politique américaine et des relations gouvernementales, dans un communiqué. « Il vaut mieux se concentrer sur la transparence lorsque les enfants discutent avec l'IA, sur la limitation des conceptions manipulatrices et sur le signalement des problèmes sensibles lorsqu'ils surviennent. »
D'autres efforts bipartisanes visant à réglementer les entreprises technologiques, notamment un projet de loi sur la sécurité des enfants en ligne ou une législation complète sur la protection de la vie privée, n'ont pas abouti, en partie du moins en raison de préoccupations liées à la liberté d'expression.
Lors d'une conférence de presse, le sénateur Hawley a présenté la dernière législation comme un test de l'influence des entreprises technologiques au Congrès. « Le Congrès n'a pas agi sur cette question à cause de l'argent. C'est à cause du pouvoir des entreprises technologiques », a déclaré Hawley. « Il devrait y avoir une pancarte à l'extérieur de la salle du Sénat qui dit « acheté et payé par les grandes entreprises technologiques », car la vérité est que presque rien de ce à quoi elles s'opposent ne passe devant le Sénat. »
Hawley et Blumenthal ont baptisé leur projet de loi « Guidelines for User Age-verification and Responsible Dialogue Act » (loi sur les directives relatives à la vérification de l'âge des utilisateurs et au dialogue responsable), ou GUARD Act. Le projet de loi a reçu le soutien provisoire de ParentsSOS, un groupe de familles qui se disent victimes de préjudices en ligne, mais le groupe a déclaré qu'il suggérait des modifications et souhaitait que le projet de loi traite des fonctionnalités des applications qui « maximisent l'engagement au détriment de la sécurité et du bien-être des jeunes ».
Cette législation intervient à un moment où les chatbots IA bouleversent certaines parties d'Internet. Les applications de chatbots telles que ChatGPT et Google Gemini figurent parmi les logiciels les plus téléchargés sur les boutiques d'applications pour smartphones, tandis que les géants des médias sociaux tels qu'Instagram et X ajoutent des fonctionnalités de chatbot IA. Mais l'utilisation des chatbots IA par les adolescents a suscité une attention particulière, notamment après plusieurs suicides, dont certains où les chatbots auraient fourni des instructions aux adolescents. OpenAI, le fabricant de ChatGPT, et Character.AI, qui fournit des chatbots basés sur des personnages et des personnalités, font tous deux l'objet de poursuites pour homicide involontaire.
En réponse à une plainte pour homicide involontaire déposée par les parents d'Adam Raine, 16 ans, qui s'est suicidé après avoir consulté ChatGPT, OpenAI a déclaré dans un communiqué qu'il était « profondément attristé par le décès de Raine et que ses pensées allaient à sa famille », ajoutant que ChatGPT « comprend des mesures de sécurité telles que l'orientation des personnes vers des lignes d'assistance téléphonique et leur renvoi vers des ressources réelles ».
« Si ces mesures de sécurité fonctionnent mieux dans le cadre d'échanges courts et courants, nous avons appris au fil du temps qu'elles peuvent parfois devenir moins fiables dans le cadre d'interactions longues, où certaines parties de la formation à la sécurité du modèle peuvent se dégrader », a déclaré un porte-parole. « Les mesures de sécurité sont plus efficaces lorsque tous les éléments fonctionnent comme prévu, et nous continuerons à les améliorer. Guidés par des experts et animés par notre responsabilité envers les personnes qui utilisent nos outils, nous nous efforçons de rendre ChatGPT plus utile en cas de crise en facilitant l'accès aux services d'urgence, en aidant les gens à entrer en contact avec des personnes de confiance et en renforçant la protection des adolescents. »
OpenAI a déclaré dans un communiqué au sujet du projet de loi : « Nous continuerons à collaborer avec les parents, les cliniciens et les décideurs politiques pour nous assurer que la technologie contribue à la sécurité et au bien-être des jeunes. » La société a déclaré qu'elle se concentrait sur les mesures de prévention du suicide, les contrôles parentaux et les outils permettant de prédire l'âge des utilisateurs afin que les mineurs aient une expérience appropriée avec ChatGPT.
En réponse à une autre plainte pour homicide involontaire déposée par la famille de Juliana Peralta, 13 ans, Character.AI a déclaré : « Nous sommes de tout cœur avec les familles qui ont intenté ces poursuites judiciaires, et nous avons été attristés d'apprendre le décès de Juliana Peralta. Nous adressons nos sincères condoléances à sa famille. »
« Nous accordons une grande importance à la sécurité de nos utilisateurs », a poursuivi un porte-parole. « Nous investissons d'énormes ressources dans notre programme de sécurité et avons mis en place et continuons à développer des fonctionnalités de sécurité, notamment des ressources sur l'automutilation et des fonctionnalités axées sur la sécurité de nos utilisateurs mineurs. Nous travaillons également avec des organisations externes, notamment des experts spécialisés dans la sécurité en ligne des adolescents. »
Character.AI a fait valoir dans un procès fédéral en Floride que le premier amendement interdisait toute responsabilité à l'encontre des médias et des entreprises technologiques pour des propos prétendument préjudiciables, y compris ceux ayant entraîné un suicide. En mai, la juge chargée de l'affaire a refusé de rejeter le procès pour ce motif, mais a déclaré qu'elle entendrait l'argument de l'entreprise fondé sur le premier amendement à un stade ultérieur.
OpenAI affirme travailler à rendre ChatGPT plus utile en cas de crise, par exemple en facilitant l'accès aux services d'urgence, tandis que Character.AI indique avoir également apporté des modifications, notamment une fenêtre contextuelle qui redirige les utilisateurs vers le National Suicide Prevention Lifeline (service national de prévention du suicide) lorsque le sujet de l'automutilation est abordé dans une conversation.
Meta, propriétaire d'Instagram et de Facebook, a été critiqué après qu'un document interne de la société autorisait les chatbots IA à « engager des conversations romantiques ou sensuelles avec des enfants ». Meta a supprimé cette politique et a annoncé de nouveaux contrôles parentaux pour les interactions des adolescents avec l'IA. Instagram a également annoncé une refonte des comptes adolescents dans le but de rendre leur expérience similaire à celle du visionnage de films classés PG-13. Hawley a annoncé une enquête sur Meta à la suite du rapport.
Voici le communiqué du bureau du sénateur Mark Warner :
Warner présente un projet de loi bipartite visant à protéger les enfants contre les chatbots IA avec ses collègues et parents
Aujourd'hui, les...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.