Un tribunal italien juge discriminatoire un algorithme d'indice de "fiabilité" utilisé par l'application de livraison de nourriture Deliveroo pour classer les livreurs, ordonnant le paiement de 50 000 euros aux demandeurs. L’algorithme est utilisé par la célèbre application européenne pour classer et proposer des changements de poste aux livreurs. Dans sa décision rendue à la fin de l’année dernière, le tribunal a déterminé que les entreprises peuvent être tenues pour responsables même si un algorithme discrimine involontairement un groupe protégé.L'affaire a été portée par un groupe de livreurs de Deliveroo soutenu par la CGIL (la Confédération générale italienne du travail), le plus grand syndicat italien. Le tribunal de Bologne a statué sur l’affaire, et une ordonnance très détaillée, rédigée par la juge Chiara Zompi, donne un aperçu de l'un des nombreux algorithmes souvent secrets utilisés par les plateformes de la "gig economy" (l'économie des petits boulots) pour la gestion des travailleurs et qui peuvent avoir un impact profond sur leurs moyens de subsistance.
L'algorithme mis en cause et examiné par le tribunal aurait été utilisé pour déterminer la "fiabilité" des livreurs de la société. Selon l'ordonnance, si un usager n'annule pas un quart de travail pré-réservée par l'application au moins 24 heures avant son début, son "indice de fiabilité" sera affecté négativement. La conséquence de ce classement est que les usagers jugés plus fiables par l'algorithme sont les premiers à se voir proposer des postes dans des plages horaires plus chargées. Cela signifie que les usagers qui ne peuvent pas effectuer leur service - même en cas d'urgence ou de maladie grave - auront moins de possibilités de travail à l'avenir.
Selon la décision du juge, l’algorithme de classement de réputation utilisé par la plateforme de livraison de nourriture à la demande Deliveroo ne procédait pas au classement des travailleurs de façon équitable, en infraction avec le droit du travail local. En effet, l’algorithme ne faisant pas la distinction entre les raisons légalement protégées pour refuser le travail - à savoir ne pas travailler parce qu'un livreur est malade ou exercer son droit de grève protégé - et des raisons plus triviales pour ne pas être aussi productif pénalise injustement les conducteurs qui ont des raisons légitimes de ne pas travailler.
Des experts ont décrit la décision comme un possible tournant. Selon eux, le tribunal a déterminé que même si un algorithme discrimine involontairement un groupe protégé, une entreprise peut être tenue responsable et être contrainte de payer des dommages et intérêts.
« Il s'agit d'une affaire qui fait date », a déclaré Valerio De Stefano, professeur de droit du travail à la KU Leuven, une université belge spécialisée dans l'IA et la réglementation du travail. « Ce que cela montre, en gros, c'est qu'au niveau juridique, vous pouvez avoir une discrimination indirecte par le biais d'algorithmes et que les algorithmes sont donc soumis à un contrôle judiciaire, que vous pouvez légalement remettre en question le fonctionnement de ces types d'algorithmes. Je pense que c'est important, parce que les gens peuvent souvent penser que les algorithmes sont objectivement neutres, alors qu'en fait il y a toujours la possibilité d'une discrimination ».
Dans une déclaration, la CGIL a qualifié l'arrêt du tribunal de Bologne de « tournant historique dans la conquête des droits et libertés syndicaux dans le monde numérique ».
L’algorithme de réservation incriminé ne serait plus utilisé depuis longtemps
Le tribunal a ordonné à Deliveroo de payer 50 000 euros aux demandeurs, plus leurs frais de justice, et de publier le jugement sur son site Web, selon Ansa (la principale agence de presse italienne) - qui a obtenu une déclaration de Matteo Sarzana, directeur général de Deliveroo Italie. Ce dernier lui a dit que la société prend note de la décision du juge mais n'est pas d'accord avec elle, et confirme que le système de réservation de places lié au classement algorithmique n'est plus utilisé sur le marché.
« Ce jugement fait référence à un modèle historique de réservation optionnelle qui n'est pas utilisé par Deliveroo en Italie ou sur d'autres marchés. Les livreurs ont toute latitude pour choisir quand travailler, où travailler, pour peu ou aussi longtemps qu'ils le souhaitent. Cela signifie qu'il n'y a pas de système de réservation et aucune obligation d'accepter du travail ».
« Nous proposons un travail indépendant, car cela offre la flexibilité que les livreurs souhaitent. Toutes les enquêtes montrent que les usagers accordent une importance primordiale à la flexibilité - plus de 80 % dans la dernière enquête. Actuellement, Deliveroo reçoit chaque semaine des milliers de demandes de travail en tant que livreur indépendant et nous avons doublé le nombre de livreurs au Royaume-Uni - nous travaillons maintenant avec 50 000 livreurs au Royaume-Uni, contre 25 000 l'année dernière », a-t-il déclaré.
« L'équité de notre ancien système est confirmée par le fait qu'aucun cas de discrimination objective et réelle n'est apparu au cours du procès. La décision se fonde exclusivement sur une évaluation hypothétique et potentielle sans preuve concrète », a ajouté Sarzana dans la déclaration [en italien].
Mais, selon Ivana Bartoletti, cofondatrice du réseau Women Leading in AI et auteur de "An Artificial Revolution", les ramifications de la décision du tribunal pourraient aller bien au-delà d'un simple système ou algorithme de réservation.
« Même si ce système particulier de réservation de quart de travail n'est plus en place, je pense que cette décision indiquera à des entreprises telles que Deliveroo, mais bien sûr aussi à d'autres, qu'elles doivent être plus conscientes d'aborder et de comprendre les problèmes et inégalités potentiels que leurs algorithmes créent, ou elles pourraient faire face à des conséquences juridiques », a déclaré Bartoletti. « Bien sûr, cela ne suffit pas en soi - nous avons également besoin de solutions réglementaires et législatives. Mais la combinaison de tous ces éléments pourrait être un grand pas en avant ».
L'arrêt du tribunal de Bologne est également remarquable à la lumière d'un certain nombre de contestations judiciaires contre l'utilisation d'algorithmes par d'autres plateformes de la "gig economy" pour gérer d'importants effectifs de "travailleurs indépendants", qui ont été déposées en Europe ces derniers mois.
En juillet 2020, par exemple, quatre chauffeurs britanniques soutenus par l'App Drivers and Couriers Union ont poursuivi Uber pour obtenir l'accès à des algorithmes similaires utilisés par Uber. Et, trois mois plus tard, un autre groupe de chauffeurs d'Uber a intenté une action en justice contre la société pour avoir prétendument été licenciés par un algorithme automatisé utilisé par la plateforme sans avoir eu la possibilité de faire appel.
L'entreprise de covoiturage Ola est confrontée à un défi similaire à cause de son utilisation de la surveillance technologique et des données comme outil de gestion pour contrôler une main-d'œuvre indépendante. Les décisions relatives à ces affaires sont toujours en attente. La décision du tribunal italien contre Deliveroo pourrait constituer un précédent dans ces affaires.
Dans le même temps, les législateurs européens ont proposé de nouvelles lois qui obligeraient les grandes plateformes en ligne à fournir aux régulateurs des informations sur le fonctionnement de leurs systèmes de classement algorithmique - dans le but de permettre une surveillance sociétale plus large des géants de l'IA. Cette décision de permettre la surveillance et la responsabilité des algorithmes des plateformes répond aux préoccupations concernant le manque de transparence et le risque que les décisions automatisées ne donnent lieu à des biais, des discriminations et une exploitation à grande échelle.
Sources : L’ordonnance du tribunal, Ku Leuven (en Italien)
Et vous ?
Que pensez-vous de la décision du tribunal italien ? Pensez-vous que cette décision pourrait constituer un précédent dans des cas similaires dans d’autres pays européens ? Voir aussi :
Amazon mène un investissement de 575 millions de dollars dans Deliveroo, une société qui permet de commander de la nourriture via une application La plus haute juridiction française reclasse les chauffeurs d'Uber en tant qu'employés, car une relation de subordination est créée lors de leur connexion à la plateforme numérique de la société Uber et Lyft envisagent un modèle de type franchise en Californie, alors que la pression pour reclasser leurs chauffeurs indépendants comme des employés est croissante 
Envoyé par Stan Adkens
