Le logiciel Parcoursup permet d’affecter les formations d’études supérieures aux lycéens de manière automatisée [1]. Sur ce type de décision majeure dans la vie d’un individu, la question de la confiance et de la possibilité de remettre en cause la décision se pose. Ici intervient la notion de transparence des algorithmes : un étudiant refusé dans son vœu n°1 a-t-il l’opportunité de comprendre les raisons de cette décision, qui a été produite en partie par un algorithme ?

Les algorithmes que nous utilisons sont de plus en plus complexes et donnent parfois des résultats inattendus et/ou inappropriés (citons le cas d’un ancien logiciel de recrutement d’Amazon qui discriminait les CV de femmes par rapport à ceux d’hommes, toute chose égale par ailleurs [2]).

Ainsi, afin d’assurer une collaboration humain-machine pertinente, il est nécessaire de trouver des moyens de combattre les biais en sortie de l’algorithme.

Thomas Baudel, directeur de recherche chez IBM et enseignant à l’Université Paris-Saclay en éthique du numérique répond à nos questions sur la thématique de la transparence des algorithmes.

source: Photo de Markus Spiske provenant de Pexels

QUE SIGNIFIE LE TERME DE TRANSPARENCE D’UN ALGORITHME ?

La transparence est une qualité d'un système qui en permet l'appropriation – un terme du vocabulaire de l’IHM (interaction humain-machine) posant la question de la compréhension d’un individu face à un artefact technologique. Il y a transparence lorsqu’il est possible de remettre en cause avec pertinence les propositions du système.

Pour rendre une technologie transparente, il faut générer des explications. De nombreuses études sont en cours sur le sujet de l’explicabilité. Ce qu’on appelle une explication en informatique, en premier abord, ce sont les éléments d’information qui affectent une décision; ensuite, c’est le déroulé du programme, le déroulé d’une logique qui aboutit à une conclusion. Cela n’est pas suffisant pour répondre à notre besoin de compréhension. D’une part, cela ne représente pas la manière qu’a l’humain de réfléchir. D’autre part, tout le monde ne sait pas programmer – une partie des individus serait donc potentiellement exclue et n’aurait aucune chance de pouvoir comprendre par elle-même le déroulé de l’algorithme. Ce sujet se complique d’autant plus lorsque l’on parle de logiciels de machine learning, dont les résultats dépendent non seulement du code source de l’algorithme, mais aussi des données fournies pour entraîner le modèle. Enfin, des technologies comme les réseaux de neurones rendent impossible de suivre le cheminement du raisonnement de l’algorithme à cause de la quantité astronomique de calculs qu’il serait nécessaire de réaliser pour suivre tout le chemin.

Une solution proposée par Bernt Mittelstadt [3] pour rendre compréhensible – et donc transparent – un algorithme est de donner une forme concise et contextualisée à l’explication. Plutôt que d’expliquer tout le processus qu’a suivi l’algorithme, il suffit de montrer "l’élément minimum" qui, une fois modifié, permet d’arriver à une conclusion différente. On utilise le raisonnement contrefactuel : "si tel élément avait été différent, alors la sortie de l’algorithme n’aurait pas été la même".

En d’autres termes, prenons l’exemple d’un algorithme qui décide de l’octroi d’un crédit immobilier. Un individu se voit refuser sa demande de crédit. L’algorithme est transparent si l’individu est en mesure de comprendre pourquoi son crédit lui a été refusé. Plutôt que de donner l’accès au code source et de faire suivre le processus ligne à ligne à l’individu, il est plus parlant pour ce dernier de voir que si son salaire mensuel était de 500€ plus important, alors sa demande aurait été acceptée. Cette explication ne peut pas se généraliser dans d’autres contextes et donc est propre à la situation (ici à l’individu) mais informe précisément. Ainsi, plutôt que de donner l’accès au processus complet, l’explication satisfaisante repose sur la mise en avant d’un élément contextualisé qui, si modifié, entraînerait une conclusion différente.

POURQUOI SE POSE LA QUESTION DE LA TRANSPARENCE DES ALGORITHMES ?

La transparence est nécessaire pour préserver notre autonomie de décision (ou notre libre arbitre si on veut être plus philosophe). Ainsi, lorsque l’on pense qu’un fait important est susceptible de nous échapper, cette transparence devient indispensable.

Reprenons l’exemple de l’octroi de crédit cité précédemment. Avant que notre société devienne “data-driven”, il fallait aller voir son banquier pour demander un prêt. C’était un acte plus personnel, la décision était plus heuristique, et reposait sur des relations entre proches: en cas de défaut, il était difficile d’échapper à l'opprobre. Il en résultait que les décisions ne reposaient pas sur des critères stables. Par conséquent, la question de la transparence, de l’éventuelle injustice ou incohérence dans la réponse, se posait moins.

Le système a évolué. Maintenant qu’il existe une formalisation effective de tous les processus qui nous entourent et règlent notre vie, il devient envisageable de les expliciter; voire nécessaire face à la complexité grandissante de nos vies et nos sociétés. Le processus qui mène à la décision “le prêt est accordé ou ne l’est pas” est beaucoup plus complexe et dépend de beaucoup plus de variables qu’auparavant, tout en suivant une méthodologie de résolution beaucoup plus stable

Introduire de la transparence - dans la vie publique comme dans les algorithmes -, c’est permettre à chacun de retrouver son autonomie et de pouvoir comprendre et remettre en cause le processus décisionnel.

LA TRANSPARENCE DES ALGORITHMES EST-ELLE UNE QUALITÉ DÉSIRABLE DANS TOUTES LES SITUATIONS ?

Il est important de considérer le fait que le même algorithme d’IA, la même technologie, appliquée dans deux contextes différents ne soulève pas du tout les mêmes questions. Par rapport à la transparence, sa nécessité va immédiatement dépendre de la fin pour laquelle l’algorithme est utilisé. Selon les cas, l’utilisateur peut avoir un besoin de maîtrise plus ou moins important de l’outil. Selon moi, l’approche techno-centrée questionnant la transparence en général n’est pas la plus pertinente. La nécessité de transparence n'est pas une fonction de l’algorithme ou de la technologie mise en œuvre mais de ce pour quoi elle est mise en œuvre. Lorsque le libre-arbitre de l’individu est affecté par l’algorithme, il y a un besoin de comprendre afin de maîtriser l’outil.

Prenons l’exemple d’une recommandation de film sur Netflix versus l’accès d’un lycéen à un enseignement supérieur via Parcoursup. La deuxième situation présente des conséquences plus importantes que la première, et c’est justement sur ce type de cas que le sujet de la transparence devient nécessaire. Ce qui va jouer et définir la position du curseur par rapport à la nécessité de la transparence varie selon la situation et l’enjeu. Elle devient nécessaire quand le libre-arbitre est affecté par les propriétés du système.

La transparence n’est pas le seul critère permettant d’assurer l’appropriation de la technologie. D’autres sujets, comme la conformité (les propositions de l’algorithme n’entrent pas en conflit avec les normes sociales, juridiques, etc.) et la robustesse (l’algorithme est fiable et fonctionne tel que prévu : deux occurrences identiques produisent le même résultat) sont aussi des thématiques centrales. (voir le travail de la HLIG sur ce sujet [4])

‍