La justice californienne vient de rendre une décision inédite : un avocat a été condamné à payer 10 000 dollars pour avoir déposé un mémoire truffé de citations inventées par ChatGPT. Cette sanction marque un tournant dans l’usage des outils d’intelligence artificielle dans les tribunaux américains et pourrait inspirer de nouvelles régulations à l’échelle internationale. C’est une situation qui vient étendre une longue liste de cas similaires et qui soulève la question de la pertinence de la mise à contribution de tels outils dans d’autres domaines, notamment, celui du génie logiciel. En effet, de récentes études font état de ce que la production d’informations erronées par les modèles d’intelligence artificielle ira croissant avec leur degré de sophistication.L’avocat Amir Mostafavi, basé en Californie, s’est retrouvé au centre d’un scandale professionnel après avoir remis un mémoire d’appel dans lequel 21 des 23 citations juridiques étaient purement inventées. Ces références provenaient de ChatGPT, utilisé pour gagner du temps dans la rédaction. Problème : Mostafavi n’a pas pris la peine de vérifier la validité des sources avant de soumettre le document à la cour. Sa cliente est Sylvia Noland, qui a fait appel d'un jugement sommaire rendu par le juge Stephen I. Goorvitch de la Cour supérieure de Los Angeles en faveur des défendeurs Land of the Free, L.P. et Jose Luis Nazar.
L’affaire a immédiatement attiré l’attention des juges de la Cour d’appel du 2ᵉ district de Californie, qui ont dénoncé une atteinte grave à l’intégrité de la procédure. Le tribunal a estimé que l’avocat avait « fait perdre un temps précieux au système judiciaire et aux contribuables », tout en rappelant un principe fondamental : un avocat reste entièrement responsable du contenu qu’il signe, quel que soit l’outil utilisé pour le produire. Il a également condamné l'avocat a payé une amende de 10 000 dollars.
Envoyé par juge Lee Edmon
Cet appel est, à bien des égards, sans intérêt particulier. La plaignante a déposé une plainte alléguant diverses violations liées à l'emploi, et le tribunal de première instance a accueilli la requête en jugement sommaire des défendeurs, estimant qu'aucune de ces allégations ne justifiait un procès. La plaignante conteste le jugement sommaire pour plusieurs motifs, dont aucun ne soulève de questions juridiques nouvelles ou ne nous oblige à appliquer une jurisprudence établie dans un contexte factuel unique. En bref, il s'agit à bien des égards d'un appel simple qui, dans des circonstances normales, ne justifierait pas sa publication.
Ce qui distingue cet appel – et la raison pour laquelle nous avons choisi de publier cet avis – est que presque toutes les citations juridiques figurant dans le mémoire introductif des plaignants, et bon nombre des citations figurant dans leur mémoire en réponse, sont inventées. En d'autres termes, les citations que les plaignants attribuent à des affaires publiées n'apparaissent ni dans ces affaires ni ailleurs. De plus, bon nombre des affaires citées par le plaignant ne traitent pas des sujets pour lesquels elles sont citées, et certaines d'entre elles n'existent tout simplement pas. Ces références juridiques inventées ont été créées par des outils d'intelligence artificielle (IA) générative utilisés par l'avocat des plaignants pour rédiger ses mémoires d'appel. Les outils d'IA ont créé de fausses références juridiques, parfois appelées « hallucinations » de l'IA, qui n'ont pas été détectées par l'avocat des plaignants car il n'a pas lu les affaires citées par les outils d'IA.
Bien que la création de fausses références juridiques par des sources d'IA ait été largement commentée par les tribunaux fédéraux et hors de l'État et rapportée par de nombreux médias, aucun tribunal californien n'a abordé cette question. Nous publions donc cet avis à titre d'avertissement. En termes simples, aucun mémoire, plaidoirie, requête ou autre document déposé auprès d'un tribunal ne doit contenir de citations, qu'elles proviennent d'une IA générative ou de toute autre source, que l'avocat chargé de soumettre la plaidoirie n'a pas personnellement lues et vérifiées.
Ce qui distingue cet appel – et la raison pour laquelle nous avons choisi de publier cet avis – est que presque toutes les citations juridiques figurant dans le mémoire introductif des plaignants, et bon nombre des citations figurant dans leur mémoire en réponse, sont inventées. En d'autres termes, les citations que les plaignants attribuent à des affaires publiées n'apparaissent ni dans ces affaires ni ailleurs. De plus, bon nombre des affaires citées par le plaignant ne traitent pas des sujets pour lesquels elles sont citées, et certaines d'entre elles n'existent tout simplement pas. Ces références juridiques inventées ont été créées par des outils d'intelligence artificielle (IA) générative utilisés par l'avocat des plaignants pour rédiger ses mémoires d'appel. Les outils d'IA ont créé de fausses références juridiques, parfois appelées « hallucinations » de l'IA, qui n'ont pas été détectées par l'avocat des plaignants car il n'a pas lu les affaires citées par les outils d'IA.
Bien que la création de fausses références juridiques par des sources d'IA ait été largement commentée par les tribunaux fédéraux et hors de l'État et rapportée par de nombreux médias, aucun tribunal californien n'a abordé cette question. Nous publions donc cet avis à titre d'avertissement. En termes simples, aucun mémoire, plaidoirie, requête ou autre document déposé auprès d'un tribunal ne doit contenir de citations, qu'elles proviennent d'une IA générative ou de toute autre source, que l'avocat chargé de soumettre la plaidoirie n'a pas personnellement lues et vérifiées.
Lee Smalley Edmon, Présidente de la Cour d'appel de Californie, deuxième district d'appel
Malgré la multiplication des règles relatives à l'IA au sein des tribunaux...
L’épisode Mostafavi illustre parfaitement le problème bien connu des hallucinations d’IA. Ces erreurs surviennent lorsque le modèle, au lieu de reconnaître ses limites, génère une réponse fausse mais convaincante, en inventant par exemple des décisions de justice inexistantes.
Dans un secteur où la précision est cruciale, ces hallucinations peuvent avoir des conséquences désastreuses. Selon des chercheurs de Stanford, les IA génératives produisent encore trop fréquemment de telles erreurs pour être utilisées sans garde-fous dans un contexte légal.
Le danger est double : d’un côté, des avocats peu formés aux limites techniques de ces outils risquent de les employer comme des moteurs de recherche fiables ; de l’autre, les tribunaux s’exposent à une surcharge de travail pour vérifier et corriger ces erreurs.
Pourtant, malgré les dizaines de juges fédéraux qui appliquent les ordonnances et les règles relatives à l'IA, les avocats continuent de déposer des documents judiciaires contenant des citations fictives.
Les avocats continuent de déposer des documents avec citations fictives : plus de 600 cas répertoriés aux États-Unis
En juin, un juge fédéral de Floride a exprimé son indignation face à un avocat qui avait soumis plusieurs documents générés par l'IA contenant de fausses citations de jurisprudence et de faux extraits.
Le même mois, les avocats du cabinet Butler Snow LLP ont déclaré devant un tribunal fédéral de l'Alabama que les fausses citations de jurisprudence générées par l'IA dans deux dossiers constituaient un « événement isolé » et que le cabinet avait révisé ses politiques et procédures afin d'éviter que de tels incidents ne se reproduisent.
Des avocats ont récemment déclaré qu'ils n'étaient pas surpris que les juges fédéraux continuent à émettre des ordonnances et des directives sur l'utilisation de l'IA générative, car les avocats continuent à soumettre des documents judiciaires contenant de fausses citations de jurisprudence.
Katherine Forrest, associée chez Paul Weiss Rifkind Wharton & Garrison LLP et présidente du groupe IA du cabinet, a déclaré que ce qui était plus surprenant, c'était que tant d'avocats soient prêts à soumettre aux tribunaux des recherches juridiques générées par l'IA sans en vérifier les résultats. « Cela suggère non seulement qu'ils font preuve d'une confiance excessive, car il peut encore y avoir des hallucinations, mais aussi qu'ils n'écoutent pas vraiment et ne comprennent pas les tribunaux lorsqu'ils disent : "Non, nous sommes vraiment sérieux à ce sujet" », a-t-elle déclaré. Katherine Forrest a été juge fédérale à New York pendant sept ans.
Un autre outil de suivi des cas où des avocats citent des autorités juridiques inexistantes en raison de l'utilisation de l'IA a identifié 52 cas de ce type en Californie et plus de 600 dans tout le pays. Ce nombre devrait augmenter dans un avenir proche, car l'innovation en matière d'IA devance la formation des avocats, a déclaré Nicholas Sanctis, étudiant en droit à la Capital University Law School dans l'Ohio.
Air Canada s’est ainsi vu obligé de respecter une politique de remboursement inventée par un chatbot intégré à son site web
Le jour où la grand-mère de Jake Moffatt est décédée, ce dernier s'est à l’immédiat rendu sur le site Web d'Air Canada pour réserver un vol de Vancouver à Toronto. Ne sachant pas comment fonctionnent les tarifs d'Air Canada pour les personnes en deuil, Moffatt a demandé au chatbot d'Air Canada de lui expliquer. Ce dernier a fourni des informations inexactes, encourageant Jake Moffatt à réserver un vol à l’immédiat, puis à demander un remboursement dans les 90 jours. Une recommandation en contradiction avec la politique de la compagnie aérienne qui stipule qu’elle ne procède pas à des remboursements une fois que la réservation est effectuée.
Jake Moffatt a donc porté plainte en joignant une capture d’écran de sa conversation avec le chatbot : « Si vous devez voyager à l’immédiat ou si vous avez déjà voyagé et que vous souhaitez soumettre votre billet pour bénéficier d'un tarif réduit pour les personnes en deuil, veuillez le faire dans les 90 jours suivant la date d'émission de votre billet en remplissant notre formulaire de demande de remboursement de billet. »
Le tribunal a au final tranché que Moffatt a droit à un remboursement partiel de 650,88 dollars canadiens (environ 398 euros) sur le prix initial du billet qui était de 1 640,36 CAD (environ 1 0003 euros), ainsi qu'à des dommages-intérêts supplémentaires pour couvrir les intérêts sur le billet d'avion et les frais de justice de Moffatt.
Air Canada a décidé de se conformer à la décision et de considérer l'affaire comme close après avoir refusé d’endosser la responsabilité de l’erreur commise par le chatbot intégré à son site web. La compagnie aérienne a ensuite procédé à la désactivation de ce dernier.
L'IA a secrètement contribué à la rédaction de l'examen du barreau de Californie, suscitant un tollé.
Près de deux mois après que des centaines de futurs avocats californiens se sont...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
