L’utilisation de l’intelligence artificielle (IA) pour générer des images de matériel d’abus sexuels sur enfants (CSAM) représente un défi juridique et éthique majeur. Récemment, le Département de la Justice des États-Unis (DOJ) a affirmé que le CSAM généré par IA est toujours considéré comme du CSAM, suite à une arrestation rare.Steven Anderegg, un ingénieur logiciel de 42 ans, a été arrêté pour avoir utilisé une version modifiée de l’IA Stable Diffusion pour créer des milliers d’images réalistes de mineurs prépubères. Ces images ont ensuite été distribuées sur Instagram et Telegram. L’affaire a été mise en lumière après qu’Instagram a signalé des messages directs envoyés par Anderegg à un garçon de 15 ans. Ces messages ont été rapportés au Centre National pour les Enfants Disparus et Exploités (NCMEC), qui a ensuite alerté les forces de l’ordre.
Nombre de ces images représentaient des mineurs nus ou partiellement vêtus exhibant ou touchant leurs organes génitaux de manière lascive ou ayant des rapports sexuels avec des hommes. Les éléments de preuve retrouvés sur les appareils électroniques d'Anderegg révèlent qu'il a généré ces images à l'aide de textes spécifiques et sexuellement explicites concernant des mineurs, qu'il a ensuite stockés sur son ordinateur.
Au cours de l'échange sur Instagram, le ministère de la Justice a constaté qu'Anderegg avait envoyé des images sexuellement explicites de mineurs peu après que l'adolescent ait fait connaître son âge, alléguant que « la seule explication raisonnable pour l'envoi de ces images était d'attirer sexuellement l'enfant ».
Selon l'acte d'accusation du ministère de la justice, Anderegg est un ingénieur en logiciel qui possède une « expérience professionnelle dans le domaine de l'IA ». En raison de ses « compétences particulières » en matière d'IA générative (GenAI), il aurait été en mesure de générer le CSAM en utilisant une version de Stable Diffusion, « ainsi qu'une interface utilisateur graphique et des modules complémentaires spéciaux créés par d'autres utilisateurs de Stable Diffusion spécialisés dans la production d'organes génitaux ».
Après qu'Instagram a signalé les messages d'Anderegg au mineur, les policiers ont saisi l'ordinateur portable d'Anderegg et ont trouvé « plus de 13 000 images GenAI, dont des centaines, voire des milliers, représentaient des mineurs prépubères nus ou semi-habillés exhibant ou touchant leurs organes génitaux de manière lascive » ou « ayant des rapports sexuels avec des hommes ».
Dans les messages qu'il adressait à l'adolescente, Anderegg semblait se « vanter » de son habileté à générer des CSAM, selon l'acte d'accusation. Selon le ministère de la justice, les preuves recueillies sur son ordinateur portable montrent qu'Anderegg « a utilisé des invites extrêmement spécifiques et explicites pour créer ces images », notamment « des invites “négatives” spécifiques, c'est-à-dire des invites qui indiquent au modèle GenAI ce qu'il ne faut pas inclure dans le contenu généré, afin d'éviter de créer des images représentant des adultes ». Ces invites ont été stockées sur son ordinateur, selon le ministère de la justice.
CSAM générés par l'IA = CSAM, l'équation est simple pour la justice
Anderegg est actuellement en détention fédérale et a été inculpé de production, de distribution et de possession de CSAM générés par l'IA, ainsi que de « transfert de matériel obscène à un mineur de moins de 16 ans », selon l'acte d'accusation.
Le ministère de la justice soupçonne Anderegg d'avoir eu l'intention d'utiliser le matériel pornographique généré par l'IA pour préparer une mineure. Il soutient donc qu'il n'y a pas de conditions de libération susceptibles d'empêcher Anderegg de représenter un « danger important » pour la communauté pendant que le tribunal étudie son cas. Le ministère de la justice a prévenu le tribunal qu'il était très probable que tout contact futur avec des mineurs passe inaperçu, car M. Anderegg est apparemment suffisamment doué pour dissimuler toute tentative future d'envoyer à des mineurs des messages de type CSAM générés par l'IA.
« Il a étudié l'informatique et possède des dizaines d'années d'expérience dans le domaine de l'ingénierie logicielle », précise l'acte d'accusation. « Si la surveillance informatique peut permettre de faire face au danger posé par des délinquants moins sophistiqués, les antécédents de l'accusé permettent amplement de conclure qu'il pourrait contourner ces restrictions s'il le décidait. Et s'il le faisait, toute récidive passerait probablement inaperçue ».
S'il est reconnu coupable des quatre chefs d'accusation, il risque « une peine maximale de 70 ans de prison et une peine minimale obligatoire de cinq ans de prison », a déclaré le ministère de la justice. En partie à cause de ses « compétences particulières en GenAI », le ministère de la justice, qui a qualifié de « solides » les éléments de preuve à l'encontre d'Anderegg, a laissé entendre qu'il pourrait recommander une peine « pouvant aller jusqu'à l'emprisonnement à vie ».
Lors de l'annonce de l'arrestation d'Anderegg, la vice-procureure générale Lisa Monaco a clairement indiqué que la création de CSAM générés par l'IA était illégale aux États-Unis.
« La technologie peut changer, mais notre engagement à protéger les enfants ne change pas », a déclaré Monaco. « Le ministère de la justice poursuivra de manière agressive ceux qui produisent et distribuent du matériel pédopornographique - ou CSAM - quelle que soit la manière dont ce matériel a été créé. En d'autres termes, le matériel pédopornographique généré par l'intelligence artificielle reste du matériel pédopornographique, et nous demanderons des comptes à ceux qui exploitent l'intelligence artificielle pour créer des images obscènes, abusives et de plus en plus photoréalistes d'enfants ».
Stability AI nie tout lien avec le modèle Stable Diffusion
Dans l'acte d'accusation, le DOJ affirme qu'Anderegg utilisait une version de Stable Diffusion « produite par Stability AI ». Mais Stability AI conteste cette affirmation, déclarant que « d'après les informations dont nous avons connaissance, le modèle utilisé dans cette affaire était Stable Diffusion 1.5 ».
« Stable Diffusion 1.5 a été publié par Runway ML, et non par Stability AI », a déclaré le porte-parole de Stability AI.
L'année dernière, Stability AI a commencé à prendre ses distances avec Stable Diffusion 1.5 après que les recherches de l'Observatoire de l'Internet de Stanford ont révélé que plus de 1 000 instances connues de CSAM ont été trouvées dans un grand ensemble de données ouvert - connu sous le nom de LAION-5B - qui a été utilisé pour entraîner Stable Diffusion 1.5.
À l'époque, un porte-parole de Runway ML a semblé s'opposer à l'intention de Stability AI de se distancier de Stable Diffusion 1.5, en renvoyant à un blog de Stability AI annonçant que Stable Diffusion 1.5 était « coédité » avec Runway ML. Quoiqu'il en soit, le porte-parole de Stability AI a fourni cette déclaration comme explication supplémentaire :
« Stability AI a fourni une bourse de calcul open source au CompVis Group de l'Université de Heidelberg (aujourd'hui LMU) et à Runway ML pour Stable Diffusion 1, mais n'a pas participé à la collecte des données et à l'entraînement du modèle. Nous n'avons pas non plus approuvé la diffusion du modèle et nous exigerions normalement que de nombreuses mesures de protection et de nombreux tests soient effectués avant la diffusion d'un modèle qui nous appartient ».
Stability AI a par ailleurs indiqué qu'elle n'hébergeait pas Stable Diffusion 1.5. Son porte-parole a déclaré que l'entreprise avait repris « le développement exclusif de la série de modèles Stable Diffusion fin 2022 », ce qui couvre Stable Diffusion 2 et tous les modèles suivants.
Depuis lors, Stability AI « s'est engagée à prévenir l'utilisation abusive de l'IA et à interdire l'utilisation de nos modèles d'images et de nos services pour des activités illégales, y compris les tentatives d'édition ou de création de CSAM », a déclaré le porte-parole. Ces efforts comprennent la mise en œuvre de « filtres pour intercepter les invites ou les sorties dangereuses » et des étiquettes de contenu « pour aider à identifier les images générées sur notre plateforme ».
L'acte d'accusation...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.