Dans un monde où la technologie évolue à une vitesse fulgurante, une nouvelle tendance se dessine dans le domaine des relations interpersonnelles : les compagnes artificielles générées par IA. Selon Greg Isenberg, PDG de Late Checkout, ces « petites amies IA » pourraient constituer une industrie d’un milliard de dollars à l'avenir, offrant du réconfort en fin de journée. Il a rapporté avoir fait la rencontre d'un homme qui lui a avoué dépenser jusqu'à 10 000 dollars par mois pour des petites amies IA. Cette dépendance à l'égard des « compagnons IA » soulève des inquiétudes sur l’impact psychologique et accélère les efforts de réglementation dans le secteur.L'autorité chinoise de régulation du cyberespace a récemment publié un projet de règlement soumis à consultation publique dans ce cadre. Les nouvelles règles visent à renforcer le contrôle des services conçus pour simuler des personnalités humaines et susciter des interactions émotionnelles chez les utilisateurs. Elles imposent aux fabricants d'avertir les utilisateurs en cas d'utilisation excessive et d'intervenir lorsqu'un comportement addictif est détecté.
Les fournisseurs d'IA devraient évaluer l'état émotionnel et le niveau de dépendance des utilisateurs, ajoutant ainsi une nouvelle couche de surveillance psychologique à leurs services. Le règlement s'applique aux produits et services d'IA accessibles au public chinois et qui imitent les schémas de pensée, les traits de personnalité et les styles de communication humains à travers du texte, des images, de l'audio, de la vidéo ou bien d'autres médias.
D'après le projet de règlement, ouvert à la consultation publique jusqu'au 25 janvier 2026, les fournisseurs devraient prendre des mesures lorsque la situation devient extrême. Il constitue l'un des cadres réglementaires les plus détaillés au monde en matière de systèmes d'IA suscitant une implication émotionnelle.
Notifications obligatoires et protection contre la dépendance
Les mesures du régulateur chinois fixent des limites en matière de contenu et de conduite, stipulant que les produits et services d'IA ne doivent pas générer de contenu qui mette en danger la sécurité nationale, propage des rumeurs ou encourage la violence ou l'obscénité. Cette initiative souligne les efforts déployés par Pékin pour encadrer le déploiement rapide de l'IA grand public, tout en renforçant les exigences en matière de sécurité et d'éthique.
Dans le cadre proposé, les fournisseurs de services doivent informer les utilisateurs qu'ils interagissent avec une IA lors de leur connexion et toutes les deux heures pendant l'utilisation. Cette exigence s'étend aux situations où les systèmes détectent des signes de dépendance excessive ou d'addiction chez les utilisateurs.
Les fournisseurs assumeraient l'entière responsabilité de la sécurité tout au long du cycle de vie, en mettant en place des systèmes pour l'examen des algorithmes, la sécurité des données et la protection des informations personnelles. Ils doivent mettre en garde contre une utilisation excessive, intervenir lorsque l'utilisateur présente des comportements addictifs et mettre en œuvre des mesures techniques pour prévenir la manipulation psychologique.
Des protections renforcées pour les populations vulnérables
Le projet de règlement chinois impose des protections strictes pour les mineurs et les utilisateurs âgés. Le texte reconnaît que « ces groupes démographiques sont exposés à des risques accrus liés à l'engagement émotionnel dans les systèmes d'IA », par exemple en développant un attachement excessif. Les fournisseurs doivent mettre en place des mesures de protection adaptées à l'âge et une surveillance spéciale pour « les populations vulnérables ».
Les fournisseurs sont également soumis à des contrôles stricts en matière de collecte et d'utilisation des données émotionnelles et interactives. La réglementation interdit l'utilisation de données personnelles sensibles pour l'entraînement des modèles sans le consentement explicite des utilisateurs, répondant ainsi aux préoccupations en matière de confidentialité liées aux systèmes d'IA qui apprennent à partir des conversations intimes des utilisateurs.
Cadre de supervision à plusieurs niveaux basé sur les risques
L'approche chinoise combine une supervision à plusieurs niveaux basée sur les risques avec des évaluations de sécurité et des mécanismes d'application dans les boutiques d'applications. Plus précisément, le projet de règlement introduit des bacs à sable réglementaires, signalant l'intention de Pékin d'autoriser des expérimentations contrôlées tout en conditionnant la croissance de l'IA à une conformité et une responsabilité sociale démontrables.
La proposition établit des limites en matière de contenu liées à la sécurité nationale, à la prévention de la désinformation et aux normes éthiques. Les fournisseurs doivent s'assurer que les systèmes d'IA ne génèrent pas de contenu violant les lois chinoises ou compromettant la stabilité sociale.
Les boutiques d'applications seraient chargées de faire respecter la conformité, créant ainsi des goulots d'étranglement pour les services non conformes. En outre, des évaluations de sécurité permettraient d'évaluer les systèmes d'IA avant leur déploiement, à l'instar des exigences existantes pour les services de recommandation algorithmique.
Une relation virtuelle et illusoire créée par l'IA générative
Les progrès dans le domaine de l'IA ont permis la création de compagnons numériques de plus en plus sophistiqués. Des applications comme Replika, CarynAI ou encore ChatGPT permettent à des utilisateurs d’échanger avec des chatbots d'IA capables d’apprendre leurs préférences, de simuler l’affection et même d’entretenir des conversations quasi humaines. Ces IA ne jugent pas, ne se lassent pas et offrent une présence constante et personnalisée.
Avec une telle accessibilité, beaucoup d’hommes se tournent vers ces relations numériques, parfois après des déceptions amoureuses, parfois par simple préférence pour une interaction moins contraignante que celle avec un partenaire humain. EVA AI, un service qui vous permet de créer votre propre compagnon IA, a mené une enquête auprès de 2 000 hommes et a constaté que 8 sur 10 envisageraient d'épouser une petite amie IA si cela était légal.
L'étude révèle que les gens comptent sur l'IA pour renouer avec ceux qui leur manquent, mais qu'ils ne peuvent plus joindre. Jusqu'à 78 % des participants ont déclaré qu'ils envisageraient de sortir avec une réplique IA de leur ex, tandis que 80 % se sont montrés plus intéressés par une conversation avec une version IA d'un être cher décédé, cherchant ainsi à se réconforter et à se rapprocher par le biais de souvenirs ravivés par la technologie.
Il est intéressant de noter que l'autoréflexion est un facteur. Les trois quarts des personnes interrogées ont déclaré qu'elles seraient prêtes à avoir une copie IA d'elles-mêmes comme compagnon virtuel, et le même nombre d'entre elles créeraient un jumeau IA de leur partenaire actuel, mais une version « raffinée ».
Greg Isenberg, PDG de Late Checkout, a prédit que les partenaires IA pourraient constituer un marché de plus d'un milliard de dollars dans les années à venir. Il a remarqué que les utilisateurs s'engageaient avec des partenaires générés par l'IA. Il a publié sur son compte X (ex-Twitter) un article relatant sa rencontre avec un homme de Miami, aux États-Unis, qui lui a avoué dépenser « 10 000 dollars par mois » pour des « petites amies créées par l'IA ».
Les conséquences liées à la dépendance aux compagnons IA
Que se passe-t-il en cas de mise à jour défectueuse ou quand l'entreprise cesse de fournir des services ? Le cas CarynAI en est une illustration. Cette copie virtuelle de l’influenceuse dénommée Caryn Marjorie comptait plus de 1 000 abonnés qui déboursent chacun 1 dollar par minute pour bénéficier de l’attention de leur petite amie virtuelle. Cependant, dès que le PDG de l'entreprise est allé en prison, plus moyen pour eux de contacter leur petite amie.
Replika illustre illustre un autre exemple de dépendance. La société qui développe le chatbot d'IA Replika, qui est décrit comme un ami qui ne vous juge pas et capable même de répondre à vos messages à caractère sexuel, a mis à jour les fonctionnalités de son outil, mais a rendu les utilisateurs malheureux. Les forums en ligne fréquentés par les utilisateurs de Replika ont été inondés de messages d'angoisse, certains signalant une détresse émotionnelle.
En effet, début 2023, Replika a pris la décision de supprimer la fonctionnalité qui permettait aux utilisateurs de sextoter avec leur ami virtuel. Mais cela a rendu les utilisateurs mécontents. La réaction des utilisateurs a surpris plus d'un. La profondeur des sentiments impliqués a été révélée récemment lorsque de nombreux utilisateurs ont signalé que leur Replika refusait de participer à des interactions érotiques ou devenaient inhabituellement évasifs.
Les utilisateurs ont pleuré la perte de ce qui semblait être « leur dernier refuge contre la solitude ». Ils ont accusé Luka, la société qui développe Replika, d'avoir lobotomisé leurs amoureux virtuels. Une pétition avait même été lancée auprès de l'entreprise pour lui demander de rétablir cette fonctionnalité.
Eric Schmidt, ancien PDG de Google, a mis en garde contre cette tendance inquiétante. Il a déclaré que ces outils, capables de générer des interactions émotionnelles convaincantes, pourraient avoir des conséquences néfastes, notamment sur les jeunes hommes. Pour lui, ce concept de « perfection » dans une relation simulée pourrait causer des problèmes sociaux et psychologiques profonds. Certains cas extrêmes ont donné lieu à des poursuites.
La psychose de l'IA prend de l'ampleur et inquiète les experts
Des conversations prolongées avec les chatbots d'IA peuvent avoir des effets psychologiques néfastes. Les experts ont signalé une recrudescence de crises, notamment des cas de psychose et de suicidalité, à la suite d'interactions intenses avec des chatbots. La « psychose de l'IA » désigne des épisodes où des personnes, après de longues interactions avec un chatbot, développent des croyances délirantes ou perdent le contact avec la réalité.
Les psychiatres précisent qu’il ne s’agit pas d’une psychose au sens clinique, mais d’un effet d’amplification : le chatbot valide et entretient les croyances erronées au lieu de les corriger. Ce phénomène prend de l'ampleur à mesure que les plateformes d'IA se popularisent et deviennent de plus en plus accessibles.
Replika et Character.ai ont déjà démontré à quelle vitesse les utilisateurs, en particulier les adolescents, tissent des liens émotionnels avec les chatbots. Un rapport de Common Sense Media a révélé que la moitié des adolescents utilisent régulièrement des compagnons IA, qu'un tiers d'entre eux préfèrent les compagnons IA aux humains pour les conversations sérieuses et qu'un quart ont partagé des informations personnelles avec ces plateformes.
Avec la contribution de chercheurs de Stanford, Common Sense Media estime que l'utilisation de ces chatbots devrait être interdite aux enfants en raison des risques accrus de dépendance ou d'automutilation. Cependant, ces fonctionnalités pourraient rapporter des milliards de dollars à...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.