Pour commencer cette enquête sur les imaginaires des algorithmes publics, Design Friction a animé en novembre 2020 un atelier regroupant un ensemble de profils et d’expertises présents dans la fonction publique. Des décideurs et décideuses aux personnes qui conçoivent les algorithmes en passant par celles qui les utilisent, cet atelier a permis une première prise de température des imaginaires à l’œuvre dans l’esprit des agents.

L’atelier était divisé en deux temps. Le premier visait à mettre en commun la définition que chaque personne avait de l’algorithme pour ainsi commencer à dessiner les contours d’une définition partagée de ce terme.

La définition donnée par chacun des huit participants et participantes dépendait principalement de son expertise. Ainsi, les profils techniques ont proposé des définitions scientifiques de l’algorithme, en le définissant comme un «processus de calculs», une «suite d’opérations logiques et ordonnées», une «composition de modes opératoires» ou encore de «suite d’instructions» visant à «résoudre un problème» ou «traiter de façon automatisée des tâches». À l’inverse, les autres profils ont proposé des définitions de l’algorithme par un prisme plus large que sa seule couche technique, en évoquant son incarnation et son implémentation dans le monde. Le terme «d’outil» est ainsi apparu, étant à la fois «pas seulement technique» mais aussi «puissant» et devant être «mieux encadré dans sa conception et ses usages».

Le partage des définitions de chacun et chacune a permis d’enclencher discussions et débats sur la place des algorithmes dans la fonction publique et de mettre en exergue leurs bénéfices et inconvénients. Bien que la question ne doive pas être réduite aux algorithmes apprenants (machine learning), les discussions se sont rapidement portées sur ce type de systèmes. Par leur capacité de traitement rapide et massive de données, les algorithmes sont considérés comme le seul moyen viable pour valoriser le patrimoine de données construit par les administrations et de permettre leur exploitation. Par ailleurs, dans tous les cas (y compris quand les algorithmes sont de simples fichiers Excel), ils sont considérés comme un palliatif au manque de ressources humaines du secteur public venant de libérer du temps d’agents et leur permettant ainsi de rediriger leur travail vers d’autres travaux à plus forte valeur ajoutée.

Bien que conscients de ces bénéfices, les participants ont gardé un esprit critique face aux algorithmes en soulignant leur aspect boîte noire et en mettant en tension trois aspects :

1. le manque de transparence des algorithmes provient aussi bien d’un manque de visibilité sur les données utilisées et sur les aspects techniques des systèmes que sur l’interprétation des dispositions légales ou réglementaires dans le code informatique ;
2. alors que le secteur public doit pouvoir rendre compte de ses décisions, si celles-ci sont entièrement ou partiellement prises par des algorithmes, l’incapacité de les expliquer remet en cause la légitimité du déploiement de cette technologie ;
3. le déploiement d’algorithmes ne vient bien souvent qu’entériner des procédés existants sans les remettre en cause ou proposer des façons alternatives de faire. En imposant une certaine rigidité, les algorithmes empêchent l’ajustement des décisions prises par l’acteur public.

Par ailleurs, les conversations ont fait ressortir la peur du remplacement technologique, témoignant d’une certaine appréhension de la capacité à dévaloriser des savoir-faire et connaissances de certains métiers.

Le second temps de l’atelier proposait de rejouer toute la phase de conception d’un algorithme qui a été particulièrement polémique en Grande-Bretagne en 2020 : l’algorithme de A-Level conçu pour attribuer les notes du baccalauréat aux lycéens britanniques.

DÉCONSTRUIRE L’ALGORITHME…

Avant de se lancer dans la reconstruction de l’algorithme, les personnes présentes ont été invitées à décortiquer celui réellement mis en place et à analyser les raisons de son échec. Elles ont ainsi identifié plusieurs imaginaires, préjugés et croyances très forts entourant les algorithmes lors de leur conception dont :

— penser que tout problème doit être résolu par une technologie (concept du solutionnisme technologique) ;

— expliquer l’échec d’un algorithme par un manque de données en entrée, idée servant de justification à collecter toujours plus de données pour combler les lacunes et failles de l’algorithme ;

— penser que l’algorithme et ses résultats sont objectifs, neutres et impartiaux car reposant sur des éléments mathématiques, en l’occurrence des calculs, et des objets décrivant la réalité et la vérité que sont les données (concept du positivisme numérique) ;

— considérer que les algorithmes sont meilleurs que les humains, ici en pensant que l’algorithme permettra d’assigner aux lycéens des notes plus justes et moins biaisées que celles données par leurs professeurs ;

— croire que tout est calculable et ainsi considérer que les résultats qu’un élève obtiendrait à un examen soient prédictibles.

… POUR CONSTRUIRE UNE PROCÉDURE ALTERNATIVE

Se mettant dans la peau de l’équipe projet chargée de trouver une solution à la question de l’évaluation des lycéens britannique en période de Covid-19, les participants et participantes ont dû à leur tour proposer une solution au problème posé. Chaque personne jouait un rôle particulier et devait prendre des décisions en un temps limité. Le schéma ci-dessous représente la chronologie des arguments apparaissant au cours des échanges entre les participants.

Après avoir écarté une solution ne faisant pas intervenir d’algorithmes que serait un examen à distance, pour cause de complexité et surenchère technologique, ils ont choisi de privilégier la piste du contrôle continu en utilisant une moyenne pondérée des notes obtenues tout le long de l’année pour établir le résultat de l’examen. Afin de rendre cette approche plus juste en vue des différences de notation entre établissements, ce résultat serait modulé de façon positive au travers d’un bonus attribué à la moyenne. Qui plus est, pour s’assurer de l’équité de la notation, l’humain est remis dans la boucle par le biais d’une commission s’assurant de la cohérence d’ensemble. Le principe d’oral de rattrapage a aussi été souhaité par les participants afin d’offrir une seconde chance aux élèves en passe de rater leur examen.

Outre le résultat de cette reconstruction du système algorithmique de notation, les échanges ont mis en avant plusieurs tensions pouvant survenir dans des projets «réels».

Tout d’abord, la plupart des équipes projets chargées de développer ces systèmes se retrouvent souvent à exécuter des décisions prises par leur hiérarchie avec une marge de manœuvre faible voire inexistante pour remettre en cause la mise en place d’un algorithme ou en négocier les modalités. Ceci est souvent couplé à un manque de diversité au sein des équipes permettant difficilement de prendre du recul et de porter un regard critique sur ces projets.

Le second élément mis en avant est le «dilemme du chaos». La prise en compte des problèmes rencontrés par les services publics et leurs administrés intervenant tardivement, leur réponse se doit alors d’être immédiate. Ainsi mis au pied du mur, les agents de la fonction publique se voient contraints d’accepter les systèmes algorithmiques comme seule solution viable pour régler des situations problématiques rapidement et efficacement.

Enfin, cette approche par l’urgence se retrouve également dans la temporalité des projets qui est généralement trop précipitée et courte pour permettre de prendre en compte dès la conception tout ou partie des biais et des problématiques éthiques pouvant résulter de la mise en place du système. Face à l’urgence, les équipes projets se concentrent sur la création technique de l’algorithme en tant que tel afin de livrer un produit fonctionnel, mais ne pensent pas ou n’ont pas le temps d’ancrer la démarche dans des processus de concertation plus large, en faisant participer par exemple les futurs utilisateurs et utilisatrices dans une démarche de co-conception ou en recueillant l’avis des personnes qui seront soumises à ce système.

Cet atelier était une première étape dans ce travail exploratoire. Il a été complété par une enquête sous forme de questionnaire, menée au cours du mois de Janvier 2021. Cette enquête a permis de recueillir des retours plus larges derrière les différents imaginaires identifiés lors de l’atelier.

L’ensemble des réflexions et imaginaires sont venus alimenter un travail de design fiction, avec la production de six scénarios explorant les futurs des algorithmes publics.