La justice britannique envoie un signal fort aux personnes qui seraient tentées d'utiliser l'IA pour générer des deepfakes préjudiciables aux victimes et notamment aux enfants. Elle a condamné à 18 ans de prison un homme qui a utilisé l'IA pour créer des images d'abus sexuels sur enfant (CSAM). Sur une période de 18 mois, il a partagé et vendu en ligne à d'autres pédophiles les images qu'il a créées, ce qui lui a rapporté 5 000 livres sterling. Sa condamnation constitue « un exemple de la manière dont les contenus générés par l'IA et les deepfakes indécents et explicites pourraient être poursuivis à l'avenir ». La lutte contre les deepfakes reste un défi de taille.Quand l'IA est utilisée pour créer et vendre du matériel d'abus sexuel sur enfant
Hugh Nelson, 27 ans, originaire de Bolton, en Angleterre, a plaidé coupable d'un total de 16 délits d'abus sexuels sur des enfants, notamment d'avoir transformé des photographies quotidiennes de vrais enfants en CSAM à l'aide des systèmes d'IA du fournisseur américain de logiciels Daz 3D. Il a également reconnu avoir encouragé d'autres personnes à commettre des délits sexuels sur des enfants. Une forme d'utilisation de l'IA qui suscite de profondes préoccupations.
Grâce aux progrès de l'IA, les images truquées (ou deepfakes) sont devenues plus réalistes et plus faciles à créer, ce qui a incité les experts à mettre en garde contre l'augmentation des images indécentes d'enfants générées par ordinateur. L'avènement de l'IA a également fortement amélioré le caractère réaliste des deepfakes, comme en témoignent les photos pornos de la chanteuse américaine Taylor Swift générées par une IA de Microsoft au début de cette année.
À l'époque, le PDG de Microsoft, Satya Nadella, avait appelé l'industrie technologique à prendre rapidement des mesures contre ce fléau. Jeanette Smith, procureure de l'unité chargée des abus sexuels sur les enfants au sein du Crown Prosecution Service, a déclaré que « l'affaire Nelson créait un nouveau précédent en ce qui concerne la manière dont les images générées par des outils d'IA générative et les deepfakes indécents et explicites pouvaient être poursuivis ».
« Cette affaire est l'une des premières du genre, mais nous nous attendons à en voir d'autres au fur et à mesure que la technologie évolue », a déclaré Jeanette Smith. Bien que Satya Nadella et d'autres dirigeants du secteur technologique appellent à agir contre les deepfakes, il n'y a aucune initiative sérieuse sur la question. Les entreprises d'IA proposent d'intégrer des filigranes à leurs produits respectifs, mais les experts sont sceptiques à l'égard de cette solution.
Hugh Nelson utilisait un générateur de caractères en 3D pour transformer des photos d'enfants ordinaires et non explicites en CSAM, avant de les vendre sur un forum Internet utilisé par des artistes. Les personnes qui connaissaient les enfants dans le monde réel envoyaient à l'homme de 27 ans des images de ces enfants. Hugh Nelson facturait ensuite à son réseau de pédophiles 80 livres sterling pour un nouveau « personnage » (un CSMA basé sur une photo d'enfant).
Daz 3D, la société qui a créé le logiciel utilisé par Hugh Nelson, a déclaré dans un communiqué que « son contrat de licence utilisateur interdit l'utilisation de son logiciel pour la création d'images qui violent les lois sur la pornographie enfantine ou l'exploitation sexuelle des enfants, ou qui sont autrement préjudiciables aux mineurs et qu'elle s'engage à améliorer continuellement sa capacité à empêcher l'utilisation de son logiciel à de telles fins ».
Une vente de matériels d'abus sexuel sur enfant générés à l'aide des outils d'IA
Jeanette Smith a déclaré : « il s'agit de l'une des premières affaires de ce type qui démontre un lien entre des personnes comme Nelson, qui créent des images générées par ordinateur à l'aide de la technologie, et la délinquance réelle qui se cache derrière ces images ». Cependant, les médias britanniques soulignent qu'un certain nombre de pédophiles ont été envoyés en prison ces derniers mois pour avoir utilisé l'IA afin de créer des images d'abus sexuel sur enfant.
La police du Grand Manchester a trouvé des images réelles d'enfants et des images générées par ordinateur d'abus sexuels sur des enfants sur les appareils de Nelson, qui ont été saisis en juin 2024. Sur une période de 18 mois, Hugh Nelson admet avoir gagné environ 5 000 livres sterling (soit environ 6 000 euros) en vendant les images qu'il avait générées. Dans certains cas, Hugh Nelson encourageait ensuite ses clients à violer et à agresser sexuellement les enfants.
Selon la décision de justice, les images générées par ordinateur ne ressemblaient pas exactement à de vraies photographies, mais pouvaient être classées dans la catégorie des « photographies indécentes » plutôt que dans celle des « images interdites », qui est généralement assortie d'une peine moins lourde. Selon Jeanette Smith, cela a été possible parce que les enquêteurs ont pu démontrer qu'elles étaient dérivées d'images d'enfants réels envoyées à Hugh Nelson.
En août 2024, Hugh Nelson a admis avoir créé et vendu des images d'abus sexuels d'enfants sur mesure, adaptées aux demandes spécifiques de ses clients. La police a également indiqué qu'il avait diffusé les images qu'il avait générées en ligne, à la fois gratuitement et contre rémunération. Les enfants dont Hugh Nelson recevait les photos étaient tous basés à l'étranger, notamment en France, en Italie et aux États-Unis. Les forces de l'ordre de ces pays ont été alertées.
L'agent-détective Carly Baines, de la police du Grand Manchester, a déclaré que « cette affaire était profondément horrible ». Carly Baines a ajouté : « il nous est apparu clairement, après des recherches approfondies sur ses nombreux appareils par des experts en criminalistique numérique, que son comportement allait bien au-delà de ce qu'il considérait manifestement comme une "opportunité commerciale" ».
CSAM générés à l'aide de l'IA : un phénomène critique qui prend de l'ampleur
Cette affaire survient alors que le secteur technologique et les autorités de régulation sont aux prises avec les répercussions sociales considérables de l'IA générative. Des entreprises telles que Google, Meta et X (ex-Twitter) s'efforcent de lutter contre les deepfakes sur leurs plateformes. Bien que ce soit la première fois qu'une personne soit poursuivie pour avoir créé ce type d'images d'abus sexuels sur enfant, les autorités se préparent à de nombreuses autres arrestations.
L'équipe de la police du Grand Manchester spécialisée dans les enquêtes sur les abus pédosexuels en ligne affirme que les images générées par l'IA sont devenues un élément courant de leurs enquêtes. De son côté, Graeme Biggar, directeur général de l'Agence nationale britannique de lutte contre la criminalité, a averti l'année dernière qu'il avait commencé à voir des images et des vidéos hyperréalistes d'abus sexuels sur des enfants qui ont été générées par l'IA.
Graeme Biggar a ajouté que « la visualisation de ce type de matériel, qu'il soit réel ou généré par ordinateur, augmente matériellement le risque que les délinquants passent à l'abus sexuel sur les enfants eux-mêmes ». Au sein de l'Internet Watch Foundation à Cambridge, des dizaines d'analystes parcourent Internet chaque jour, à la recherche d'images d'abus sexuels sur enfants et pour les retirer d'Internet. L'organisation a constaté une augmentation préoccupante.
Au cours des six derniers mois, l'association a vu plus d'images d'abus d'enfants créées à l'aide de l'IA qu'en 2023. Dan Sexton, directeur technique de l'organisation caritative, affirme : « notre travail a toujours été difficile. Mais nous n'avons jamais été confrontés à la possibilité que quelqu'un télécharge un logiciel sur son ordinateur et crée une quantité infinie de nouvelles images. Ils en utilisent autant qu'ils le peuvent jusqu'à ce que les disques durs se remplissent ».
« C'est un nouveau type de préjudice auquel nous n'avons pas été préparés », a ajouté Dan Sexton. L'un des analystes de l'organisation, connu uniquement sous le nom de Jeff lorsqu'il est au travail pour protéger son identité, s'est dit inquiet de voir à quel point la génération d'image à l'aide de l'IA devient convaincante. « Nous en sommes au point où même un analyste expérimenté aurait du mal à déterminer si elle est réelle ou non », a déclaré le dénommé Jeff.
Les cadres juridiques existants ne sont pas adaptés à la lutte contre le CSAM
Lorsque Hugh Nelson a plaidé coupable, l'agent-détective Carly Baines a déclaré : « cette affaire a été un véritable test pour la législation, car l'utilisation de programmes informatiques de cette manière est très nouvelle pour ce type de délit et n'est pas spécifiquement mentionnée dans la législation britannique actuelle ». La loi britannique sur la sécurité en ligne, adoptée en octobre 2023, rend illégale la diffusion de deepfakes pornographiques non consensuels.
Cependant, Hugh Nelson a été poursuivi en vertu de la loi sur la maltraitance des enfants. Hugh Nelson a été arrêté à son domicile en juin 2023 et ses appareils ont été saisis et examinés. Il a déclaré aux officiers que son comportement était devenu incontrôlable après avoir rencontré d'autres pédophiles en ligne. L'avocat de Hugh Nelson a déclaré : « il était solitaire et socialement isolé. Il avait plongé dans ce genre de vie fantaisiste et s'y était complètement absorbé ».
Dans une démarche visant à lutter contre la violence faite aux femmes, le ministère de la Justice du Royaume-Uni a annoncé début 2024 qu’il criminaliserait la création de deepfakes à caractère sexuel explicite. Cette nouvelle législation, qui n’a pas encore été adoptée, prévoit des poursuites et une amende illimitée pour les contrevenants. La création de ces images sera considérée comme une infraction pénale, même si le créateur n’a pas l’intention de les partager.
En Union européenne, la proposition visant à surveiller la création, le stockage et le partage du CSAM est fortement controversée. La législation obligerait les services de messagerie à analyser le contenu des communications des utilisateurs à la recherche de CSAM connus et inconnus, et à essayer de détecter le grooming en temps réel. Selon les experts, cette loi risque d'affaiblir le chiffrement de bout en bout, ce qui nuirait à la protection de la vie privée en ligne.
Avec sa proposition législative connue sous le nom de « Chat Control », la Commission européenne veut mettre en place un appareil de surveillance de masse sans précédent, aux proportions orwelliennes, au sein de l'Union européenne. Le 20 juin 2024, le Conseil de l’UE et ses participants ont décidé de retirer le vote sur le controversé plan de contrôle des discussions. Cependant, les experts s'attendent que la Commission lance prochainement une nouvelle tentative.
Source : la police du Grand Manchester
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la sentence prononcée contre l'accusé dans cette affaire ? Selon vous, comment luter contre la création, le stockage et la diffusion en ligne du CSAM ? Comment empêcher la génération de CSAM et d'autres images indécentes à l'aide des outils d'IA générative ? Comment les législations peuvent-elles évoluer afin de s'adapter aux nouvelles technologies que l'IA et les deepfakes ?Voir aussi
Les photos pornos de Taylor Swift générées par IA sont issues d'un défi, selon un rapport indiquant que plusieurs utilisateurs cherchaient des moyens de contourner les filtres d'outils IA populaires Le plan européen de surveillance CSAM est un point de basculement pour les droits démocratiques, avertissent les experts Le PDG de Microsoft appelle l'industrie technologique à « agir » après des photos pornos de Taylor Swift générées par IA, certaines d'entre elles ont été générées par un outil de Microsoft 
Envoyé par Fagus
