mardi 16 octobre 2018

Un robot dans la robe des juges

Les algorithmes exécutés par des ordinateurs sont entrés dans nos vies : ils nous conseillent des films, nous proposent des chemins pour nous rendre à notre prochain rendez-vous... Bientôt, ils conduiront nos voitures ou nous permettront de rester chez nous dans notre quatrième âge. En prenant autant d'importance, ils soulèvent des questionnements, des inquiétudes. Prenons un exemple frappant dans un domaine régalien, la justice. Aux États-Unis, le logiciel Compas assiste les juges pour décider de libérations conditionnelles, en évaluant le risque de possibles récidives - la décision de remise en liberté est strictement liée à la probabilité de récidive. L'algorithme assiste, mais ne décide pas. Oui, mais un juge aura-t-il le courage, ou la légèreté, de remettre un condamné en liberté contre l'avis du logiciel si l'on peut prouver que l'algorithme fait statistiquement de meilleures prédictions que les juges ?

La question est philosophique : y a-t-il des tâches de telles natures que les confier à des machines nous ferait perdre une part de notre humanité, des tâches qu'il faut leur interdire même si elles les réalisent mieux que nous ? Nous ne répondrons pas à cette question, mais relativisons son importance aujourd'hui. Si les algorithmes deviennent de plus en plus intelligents, ils sont loin de pouvoir, par exemple, remplacer les juges dans des cas encore plus complexes que celui de la libération conditionnelle aux États-Unis. Quand des algorithmes participent à la vie de la cité se pose également la question de leur responsabilité. Revenons sur le logiciel Compas. Il présente sur un juge l'avantage d'une certaine cohérence. Il a été montré notamment que les décisions des juges sont dépendantes de l'heure ; il vaut mieux passer après le repas qu'avant. Et celles des cours de justice, par exemple aux prud'hommes, varient énormément d'une chambre à une autre. Pas de cela avec les algorithmes ! Ils peuvent garantir une certaine cohérence.

Nous pourrions également espérer qu'ils soient plus « justes », qu'ils ne discriminent pas suivant les origines ethniques, le genre... Pourtant, des journalistes ont évalué les prédictions de Compas et découvert qu'il surestimait largement les risques de récidives des condamnés noirs. Des informaticiens racistes ? Pas vraiment, mais on ne sait pas écrire un algorithme qui prédise les récidives - la question est trop complexe. Alors on utilise un algorithme d'apprentissage automatique. On lui apprend le travail à réaliser en l'entraînant sur un grand volume de données de décisions de juges, à imiter des humains. Ce sont ces décisions, qui présentaient des biais raciaux, que Compas a reproduites. Il faut avoir conscience des problèmes que l'utilisation de programmes informatiques peut soulever, vérifier ces programmes et les données qui sont utilisées pour les « entraîner », surveiller leurs résultats.

Notre exemple nous a permis d'insister sur un aspect essentiel de la responsabilité : l'absence de biais, l'équité. La transparence en est un autre. Nous pouvons, par exemple, nous inquiéter de ce que Facebook fait de nos données personnelles dans une relative opacité. Nous pourrions aussi parler de la loyauté : faut-il accepter un service qui propose des restaurants en disant ne tenir compte que des avis de consommateurs et qui remonte en réalité dans sa liste de résultats les commerçants qui paient pour ça ? La responsabilité sociétale des algorithmes a nombre de facettes.

Les algorithmes peuvent nous permettre d'améliorer nos vies. Il faut corriger leurs défauts, combattre leurs biais inacceptables. Il peut s'avérer difficile de vérifier, d'expliquer leurs choix, s'ils proviennent de statistiques mettant en jeu des milliards d'opérations ou s'ils se basent sur des motifs complexes découverts par des algorithmes d'apprentissage. Pourtant, notre incompétence ne peut pas servir de justification pour autoriser le viol de principes moraux. Quand les effets des décisions sont sérieux, comme garder une personne incarcérée, sans doute vaut-il mieux attendre d'être certain du fonctionnement de l'algorithme, exiger qu'il explique ses choix et, bien sûr, faut-il pouvoir les contester.

Serge Abiteboul, Inria et ENS, Paris

Cet article est paru dans Le magazine La Recherche, N°531 • Janvier 2018

Aucun commentaire:

Enregistrer un commentaire