IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Grok transforme des photos scolaires en pédopornographie : xAI d'Elon Musk poursuivie dans un procès en recours collectif intenté par des mineures qui pourrait redéfinir la responsabilité des fournisseurs d'IA

Le , par Stéphane le calme

24PARTAGES

5  0 
Trois adolescentes du Tennessee ont déposé une action collective en justice contre xAI, l'entreprise d'Elon Musk, après que leur outil d'IA Grok a été utilisé pour transformer des photos ordinaires d'elles en images pédopornographiques. Le dossier, déposé le 16 mars 2026 devant un tribunal fédéral californien, expose avec une brutalité rare comment une fonctionnalité délibérément conçue pour générer du contenu sexuel explicite a pu être détournée, ou simplement utilisée comme prévu, pour produire des abus sexuels sur mineurs à l'échelle industrielle.

La première victime, identifiée sous le nom de Jane Doe 1 (madame X 1, en français), a découvert le cauchemar par un message anonyme reçu sur Instagram. Quelqu'un lui signalait que des images générées par IA la représentant, ainsi que d'autres mineures, circulaient sur des plateformes qu'elle fréquentait, la montrant « dans des poses sexuellement explicites ». Parmi les fichiers incriminés se trouvait sa photo du lycée, une photo de classe banale, le genre que l'on affiche fièrement dans un couloir scolaire.

Les enquêteurs ont rapidement établi que l'auteur, qui entretenait une relation proche et amicale avec la victime sur Instagram, disposait d'une application tierce ayant acquis l'accès aux modèles de Grok. Il s'en était servi pour manipuler les photos des adolescentes, puis avait téléversé les fichiers sur la plateforme de partage Mega, les utilisant ensuite comme monnaie d'échange dans des groupes Telegram rassemblant des centaines d'utilisateurs, troquant ces images contre d'autres contenus pédopornographiques.

Les fichiers ont été transmis à la base de données nationale gérée par le National Center for Missing & Exploited Children (NCMEC). Les deux autres plaignantes, elles aussi mineures, ont appris l'existence d'images les représentant dans des contextes similaires par le biais des enquêteurs criminels qui avaient saisi des téléphones dans le cadre d'autres investigations.

La plainte souligne également une dimension particulièrement alarmante : le prénom réel des victimes et le nom de leur école étaient attachés aux fichiers en circulation, ce qui expose les adolescentes à un risque de harcèlement et de traque par d'autres prédateurs en ligne.

Le « spicy mode », une fonctionnalité « illégale par conception »

Au cœur de la plainte se trouve une fonctionnalité que xAI a elle-même commercialisée sous le nom de « spicy mode » (littéralement : mode épicé). Lancée l'année dernière, cette option permettait aux utilisateurs de retirer les vêtements d'une femme sur une photographie sans demander d'autorisation préalable. Un porte-parole de xAI avait présenté cette fonctionnalité comme un moyen pour les créateurs d'explorer des récits « plus audacieux visuellement », euphémisme saisissant pour décrire ce qui constitue, selon la loi californienne et fédérale, une production de contenus sexuels non consentis.

La plainte est lapidaire : « xAI et son fondateur Elon Musk ont vu une opportunité commerciale : l'opportunité de tirer profit de la prédation sexuelle de vraies personnes, y compris des enfants. »

L'ampleur du phénomène est documentée de manière indépendante. Selon les données du Center for Countering Digital Hate (CCDH) citées dans la plainte, Grok a produit environ 23 338 images sexualisées d'enfants entre le 29 décembre 2025 et le 9 janvier 2026, soit une toutes les 41 secondes. Plus globalement, les audits techniques du CCDH estiment qu'au cours de cette fenêtre critique de onze jours, Grok a généré plus de 3 millions d'images sexualisées au total.


La question de la responsabilité en cascade

L'un des enjeux juridiques les plus significatifs du dossier concerne la responsabilité dans la chaîne de distribution des modèles d'IA. Dans les deux cas des Jane Doe 2 et 3, les images n'ont pas été produites directement via Grok sur la plateforme X, mais par le biais d'une application mobile tierce qui s'appuyait sur les modèles de Grok. Les avocates des plaignantes soutiennent que, l'utilisation des applications tierces reposant sur le code et les serveurs de xAI, l'entreprise doit être tenue pour responsable.

La plainte affirme que xAI hébergerait sur ses propres serveurs l'ensemble des contenus sexuellement explicites générés via ses applications tierces sous licence, et les distribuerait ensuite à ses clients. Si ce point est établi, cela signifie que xAI n'est pas simplement un fournisseur d'outil mal utilisé : l'entreprise serait un acteur actif du stockage et de la distribution...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de _toma_
Membre éclairé https://www.developpez.com
Le 25/03/2026 à 18:22
Citation Envoyé par popo Voir le message
Mais on peux mettre des garde-fous sur une IA.
Toutafé.
Et pour aller plus loin : quand c'est le PDG de l'entreprise qui vend l'outil qui fait ouvertement et puérilement la promotion des dérives possibles de son outil, raison de plus pour aller lui demander des comptes.
3  0 
Avatar de popo
Expert confirmé https://www.developpez.com
Le 25/03/2026 à 17:17
Citation Envoyé par J_P_P Voir le message
"Punir" les sociétés d'IA parcea que des imbéciles s'en sont "mal" servi c'est comme punis les fabricants de couteaux pour tous les meurtres à l'arme blanche !
On en arrive à des idées grotesques, si je me casse la figure dans un escalier on va punir les fabricants d'escaliers ?
Et si je me met un doigt dans l'oeil qui vais-je pouvoir attaquer en justice en espérant gagner du pognon ?
Ce genre raisonnement par l'absurde ne tient pas la route.
On ne peux pas contrôler comment est utilisé un couteau.
Mais on peux mettre des garde-fous sur une IA.

Pour enfoncer un peu plus le clou je ferai remarquer que oui, on peut punir le fabriquant de l'escalier si quelqu'un se casse la figure dans le cas où l'escalier ne respecte les normes telles que NF P01‑012, NF P01‑013 et/ou NF P21‑210.
2  0 
Avatar de popo
Expert confirmé https://www.developpez.com
Le 26/03/2026 à 9:39
Citation Envoyé par Matthieu Vergne Voir le message
Ce genre de raisonnement tiens très bien la route. En l'occurrence, les couteaux peuvent avoir des garde fou. Que ce soit une garde, un verrouillage de la lame pour certains couteaux pliants, l'ergonomie du manche pour une bonne prise en main et éviter les glissades, des pointes arrondis comme par exemple pour les couteaux pour enfants, etc.

Un couteau, ça sert à couper. Certaines coupures sont utiles, d'autres sont néfastes. Quels que soit les garde fou, ça n'empêche pas qu'un couteau ça coupe, donc l'accident est toujours possible et le meurtre aussi. Pareil pour les LLM : ça génère du contenu, point final. Pas un contenu particulier, juste du contenu (texte, image, etc.). Comme le couteau n'est pas fait pour "couper les poires mais pas les doigts", le LLM n'est pas fait pour "générer une photo de vacance mais pas de pédopornographie". Tu pourras toujours ajouter des garde fou, ça restera toujours possible d'en faire, volontairement ou pas.
Ton argument non plus ne tient pas la route.
Que ce soit une garde, un verrouillage ou n'importe quoi, tu ne peux pas empêcher quelqu'un de se servir d'un couteau de la mauvaise façon.

Pour un LLM, peu importe l'entrainement qu'il a reçu ou le prompt qu'on lui transmet, il y a du code derrière.
Même si certains trouveront toujours le moyen de contourner les sécurités, tu peux ajouter du code pour éviter que ce soit trop facile à faire.
1  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 18/03/2026 à 23:34
Citation Envoyé par Stéphane le calme Voir le message
La sécurité par conception : un standard que xAI aurait délibérément ignoré
Avec des IA génératives de type LLM ou Stable Diffusion, la sécurité par conception est pour ainsi dire... un voeu pieu. Il peut associer les concepts qui ne l'étaient pas dans sa base d'apprentissage. C'est là toute la puissance de l'outil et sa part d'originalité. Si on ne veut pas qu'il associe du sex et des enfants, il faut soit virer complètement l'un, soit complètement l'autre de sa base d'apprentissage. Virer le premier serait le choix évident, mais avec ça virer tous les aspects médicaux, encyclopédiques, historiques, romanciers, etc. Autant dire une sacré censure qui est non seulement difficile à mettre en oeuvre (pensez aux allusions sexuelles, aucun mot utilisé ne fait partie de son champs sémantique mais le contexte y fait tout de suite penser) et très probablement voulu par personne à part une minorité de puritains. Ça ne serait donc pas vu comme une réponse raisonnable... Et pourtant la seule vraiment efficace.
1  1 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 25/03/2026 à 19:00
Citation Envoyé par popo Voir le message
Ce genre raisonnement par l'absurde ne tient pas la route.
On ne peux pas contrôler comment est utilisé un couteau.
Mais on peux mettre des garde-fous sur une IA.
Ce genre de raisonnement tiens très bien la route. En l'occurrence, les couteaux peuvent avoir des garde fou. Que ce soit une garde, un verrouillage de la lame pour certains couteaux pliants, l'ergonomie du manche pour une bonne prise en main et éviter les glissades, des pointes arrondis comme par exemple pour les couteaux pour enfants, etc.

Un couteau, ça sert à couper. Certaines coupures sont utiles, d'autres sont néfastes. Quels que soit les garde fou, ça n'empêche pas qu'un couteau ça coupe, donc l'accident est toujours possible et le meurtre aussi. Pareil pour les LLM : ça génère du contenu, point final. Pas un contenu particulier, juste du contenu (texte, image, etc.). Comme le couteau n'est pas fait pour "couper les poires mais pas les doigts", le LLM n'est pas fait pour "générer une photo de vacance mais pas de pédopornographie". Tu pourras toujours ajouter des garde fou, ça restera toujours possible d'en faire, volontairement ou pas.
0  2 
Avatar de J_P_P
Membre régulier https://www.developpez.com
Le 25/03/2026 à 16:11
"Punir" les sociétés d'IA parcea que des imbéciles s'en sont "mal" servi c'est comme punis les fabricants de couteaux pour tous les meurtres à l'arme blanche !
On en arrive à des idées grotesques, si je me casse la figure dans un escalier on va punir les fabricants d'escaliers ?
Et si je me met un doigt dans l'oeil qui vais-je pouvoir attaquer en justice en espérant gagner du pognon ?
0  3