L’utilisation de l’intelligence artificielle (IA) pour générer des images de matériel d’abus sexuels sur enfants (CSAM) représente un défi juridique et éthique majeur. Récemment, le Département de la Justice des États-Unis (DOJ) a affirmé que le CSAM généré par IA est toujours considéré comme du CSAM, suite à une arrestation rare.Steven Anderegg, un ingénieur logiciel de 42 ans, a été arrêté pour avoir utilisé une version modifiée de l’IA Stable Diffusion pour créer des milliers d’images réalistes de mineurs prépubères. Ces images ont ensuite été distribuées sur Instagram et Telegram. L’affaire a été mise en lumière après qu’Instagram a signalé des messages directs envoyés par Anderegg à un garçon de 15 ans. Ces messages ont été rapportés au Centre National pour les Enfants Disparus et Exploités (NCMEC), qui a ensuite alerté les forces de l’ordre.
Nombre de ces images représentaient des mineurs nus ou partiellement vêtus exhibant ou touchant leurs organes génitaux de manière lascive ou ayant des rapports sexuels avec des hommes. Les éléments de preuve retrouvés sur les appareils électroniques d'Anderegg révèlent qu'il a généré ces images à l'aide de textes spécifiques et sexuellement explicites concernant des mineurs, qu'il a ensuite stockés sur son ordinateur.
Au cours de l'échange sur Instagram, le ministère de la Justice a constaté qu'Anderegg avait envoyé des images sexuellement explicites de mineurs peu après que l'adolescent ait fait connaître son âge, alléguant que « la seule explication raisonnable pour l'envoi de ces images était d'attirer sexuellement l'enfant ».
Selon l'acte d'accusation du ministère de la justice, Anderegg est un ingénieur en logiciel qui possède une « expérience professionnelle dans le domaine de l'IA ». En raison de ses « compétences particulières » en matière d'IA générative (GenAI), il aurait été en mesure de générer le CSAM en utilisant une version de Stable Diffusion, « ainsi qu'une interface utilisateur graphique et des modules complémentaires spéciaux créés par d'autres utilisateurs de Stable Diffusion spécialisés dans la production d'organes génitaux ».
Après qu'Instagram a signalé les messages d'Anderegg au mineur, les policiers ont saisi l'ordinateur portable d'Anderegg et ont trouvé « plus de 13 000 images GenAI, dont des centaines, voire des milliers, représentaient des mineurs prépubères nus ou semi-habillés exhibant ou touchant leurs organes génitaux de manière lascive » ou « ayant des rapports sexuels avec des hommes ».
Dans les messages qu'il adressait à l'adolescente, Anderegg semblait se « vanter » de son habileté à générer des CSAM, selon l'acte d'accusation. Selon le ministère de la justice, les preuves recueillies sur son ordinateur portable montrent qu'Anderegg « a utilisé des invites extrêmement spécifiques et explicites pour créer ces images », notamment « des invites “négatives” spécifiques, c'est-à-dire des invites qui indiquent au modèle GenAI ce qu'il ne faut pas inclure dans le contenu généré, afin d'éviter de créer des images représentant des adultes ». Ces invites ont été stockées sur son ordinateur, selon le ministère de la justice.
CSAM générés par l'IA = CSAM, l'équation est simple pour la justice
Anderegg est actuellement en détention fédérale et a été inculpé de production, de distribution et de possession de CSAM générés par l'IA, ainsi que de « transfert de matériel obscène à un mineur de moins de 16 ans », selon l'acte d'accusation.
Le ministère de la justice soupçonne Anderegg d'avoir eu l'intention d'utiliser le matériel pornographique généré par l'IA pour préparer une mineure. Il soutient donc qu'il n'y a pas de conditions de libération susceptibles d'empêcher Anderegg de représenter un « danger important » pour la communauté pendant que le tribunal étudie son cas. Le ministère de la justice a prévenu le tribunal qu'il était très probable que tout contact futur avec des mineurs passe inaperçu, car M. Anderegg est apparemment suffisamment doué pour dissimuler toute tentative future d'envoyer à des mineurs des messages de type CSAM générés par l'IA.
« Il a étudié l'informatique et possède des dizaines d'années d'expérience dans le domaine de l'ingénierie logicielle », précise l'acte d'accusation. « Si la surveillance informatique peut permettre de faire face au danger posé par des délinquants moins sophistiqués, les antécédents de l'accusé permettent amplement de conclure qu'il pourrait contourner ces restrictions s'il le décidait. Et s'il le faisait, toute récidive passerait probablement inaperçue ».
S'il est reconnu coupable des quatre chefs d'accusation, il risque « une peine maximale de 70 ans de prison et une peine minimale obligatoire de cinq ans de prison », a déclaré le ministère de la justice. En partie à cause de ses « compétences particulières en GenAI », le ministère de la justice, qui a qualifié de « solides » les éléments de preuve à l'encontre d'Anderegg, a laissé entendre qu'il pourrait recommander une peine « pouvant aller jusqu'à l'emprisonnement à vie ».
Lors de l'annonce de l'arrestation d'Anderegg, la vice-procureure générale Lisa Monaco a clairement indiqué que la création de CSAM générés par l'IA était illégale aux États-Unis.
« La technologie peut changer, mais notre engagement à protéger les enfants ne change pas », a déclaré Monaco. « Le ministère de la justice poursuivra de manière agressive ceux qui produisent et distribuent du matériel pédopornographique - ou CSAM - quelle que soit la manière dont ce matériel a été créé. En d'autres termes, le matériel pédopornographique généré par l'intelligence artificielle reste du matériel pédopornographique, et nous demanderons des comptes à ceux qui exploitent l'intelligence artificielle pour créer des images obscènes, abusives et de plus en plus photoréalistes d'enfants ».
Stability AI nie tout lien avec le modèle Stable Diffusion
Dans l'acte d'accusation, le DOJ affirme qu'Anderegg utilisait une version de Stable Diffusion « produite par Stability AI ». Mais Stability AI conteste cette affirmation, déclarant que « d'après les informations dont nous avons connaissance, le modèle utilisé dans cette affaire était Stable Diffusion 1.5 ».
« Stable Diffusion 1.5 a été publié par Runway ML, et non par Stability AI », a déclaré le porte-parole de Stability AI.
L'année dernière, Stability AI a commencé à prendre ses distances avec Stable Diffusion 1.5 après que les recherches de l'Observatoire de l'Internet de Stanford ont révélé que plus de 1 000 instances connues de CSAM ont été trouvées dans un grand ensemble de données ouvert - connu sous le nom de LAION-5B - qui a été utilisé pour entraîner Stable Diffusion 1.5.
À l'époque, un porte-parole de Runway ML a semblé s'opposer à l'intention de Stability AI de se distancier de Stable Diffusion 1.5, en renvoyant à un blog de Stability AI annonçant que Stable Diffusion 1.5 était « coédité » avec Runway ML. Quoiqu'il en soit, le porte-parole de Stability AI a fourni cette déclaration comme explication supplémentaire :
« Stability AI a fourni une bourse de calcul open source au CompVis Group de l'Université de Heidelberg (aujourd'hui LMU) et à Runway ML pour Stable Diffusion 1, mais n'a pas participé à la collecte des données et à l'entraînement du modèle. Nous n'avons pas non plus approuvé la diffusion du modèle et nous exigerions normalement que de nombreuses mesures de protection et de nombreux tests soient effectués avant la diffusion d'un modèle qui nous appartient ».
Stability AI a par ailleurs indiqué qu'elle n'hébergeait pas Stable Diffusion 1.5. Son porte-parole a déclaré que l'entreprise avait repris « le développement exclusif de la série de modèles Stable Diffusion fin 2022 », ce qui couvre Stable Diffusion 2 et tous les modèles suivants.
Depuis lors, Stability AI « s'est engagée à prévenir l'utilisation abusive de l'IA et à interdire l'utilisation de nos modèles d'images et de nos services pour des activités illégales, y compris les tentatives d'édition ou de création de CSAM », a déclaré le porte-parole. Ces efforts comprennent la mise en œuvre de « filtres pour intercepter les invites ou les sorties dangereuses » et des étiquettes de contenu « pour aider à identifier les images générées sur notre plateforme ».
L'acte d'accusation note cependant que « bien que les entreprises d'IA se soient engagées à rendre plus difficile pour les délinquants l'utilisation des futures versions des outils GenAI pour générer des images de mineurs victimes d'abus sexuels, ces mesures ne suffiront pas à empêcher les délinquants avertis comme l'accusé d'exécuter localement des versions antérieures de ces outils à partir de leurs ordinateurs sans être détectés ».
Le problème de pédophilie sur Instagram
L'été dernier, des enquêtes menées par le Wall Street Journal, l'Observatoire de l'Internet de Stanford et le Rescue Lab de l'Université du Massachusetts Amherst ont montré qu'Instagram était la plateforme la plus importante pour les acheteurs et les vendeurs de contenus sexuels destinés aux mineurs.
Ces enquêtes ont révélé que le CSAM lui-même n'était pas hébergé sur Instagram, mais qu'Instagram était devenu un lien essentiel entre un réseau de pédophiles qui se rencontraient sur la plateforme Meta et qui achetaient et vendaient ensuite le CSAM sur Telegram.
Selon le ministère de la justice, Anderegg a exploité Instagram et Telegram de la même manière. Ses messages Instagram étaient remplis « d'images GenAI réalistes de mineurs portant des vêtements en cuir sur le thème du BDSM », accompagnées d'un « message encourageant les autres à venir voir ce qu'ils manquent sur Telegram ». Lorsqu'on lui demandait des nus, Anderegg renvoyait vers Telegram où il prétendait offrir des « tonnes » d'images.
Dans ces messages, Anderegg aurait également « discuté de son désir d'avoir des relations sexuelles avec des garçons prépubères et du fait qu'il a une femme et un enfant », selon le ministère de la justice.
Conclusion
Cette affaire soulève des questions importantes sur la manière dont la loi doit traiter le CSAM généré par IA. Le DOJ a clairement indiqué qu’il poursuivrait vigoureusement ceux qui produisent et distribuent du CSAM, quelle que soit la méthode de création. Cette position met en évidence la nécessité de législations adaptées à l’ère numérique et aux avancées technologiques.
Sources : ministère américain de la Justice, acte d'accusation, Stability AI
Et vous ?
Comment les lois actuelles peuvent-elles être adaptées pour lutter contre le CSAM généré par IA ? Comment les autorités peuvent-elles efficacement surveiller et contrôler l’utilisation abusive des technologies d’IA sans entraver l’innovation et la liberté d’expression ? Quelles mesures préventives les plateformes de médias sociaux devraient-elles prendre pour empêcher la distribution de telles images ? Quelles responsabilités légales devraient incomber aux créateurs d’IA qui permettent la génération de CSAM ? Dans quelle mesure la technologie peut-elle être tenue responsable des usages malveillants faits par les utilisateurs ? Quel est le rôle de l’éducation numérique dans la prévention de la création et de la distribution de CSAM ? Comment les victimes de CSAM généré par IA devraient-elles être soutenues, étant donné l’absence de préjudice physique direct ? Quelles mesures préventives supplémentaires les développeurs d’IA peuvent-ils intégrer pour empêcher l’utilisation de leurs outils à des fins néfastes ?