mardi 23 octobre 2018

Internet : neutre mais pas trop ?

Titre : Internet : neutre mais pas trop ?
Intervenants : Serge Abiteboul - Benjamin Bayart - Mathilde Morineaux - Sébastien Soriano - Céline Loozen - Nicolas Martin
Lieu : Émission La méthode scientifique - France Culture
Date : septembre 2018
Durée : 58 min
Écouter sur le site de l'émission ou écouter le podcast

Retranscription verbatim par april

mardi 16 octobre 2018

Un robot dans la robe des juges

Les algorithmes exécutés par des ordinateurs sont entrés dans nos vies : ils nous conseillent des films, nous proposent des chemins pour nous rendre à notre prochain rendez-vous... Bientôt, ils conduiront nos voitures ou nous permettront de rester chez nous dans notre quatrième âge. En prenant autant d'importance, ils soulèvent des questionnements, des inquiétudes. Prenons un exemple frappant dans un domaine régalien, la justice. Aux États-Unis, le logiciel Compas assiste les juges pour décider de libérations conditionnelles, en évaluant le risque de possibles récidives - la décision de remise en liberté est strictement liée à la probabilité de récidive. L'algorithme assiste, mais ne décide pas. Oui, mais un juge aura-t-il le courage, ou la légèreté, de remettre un condamné en liberté contre l'avis du logiciel si l'on peut prouver que l'algorithme fait statistiquement de meilleures prédictions que les juges ?

La question est philosophique : y a-t-il des tâches de telles natures que les confier à des machines nous ferait perdre une part de notre humanité, des tâches qu'il faut leur interdire même si elles les réalisent mieux que nous ? Nous ne répondrons pas à cette question, mais relativisons son importance aujourd'hui. Si les algorithmes deviennent de plus en plus intelligents, ils sont loin de pouvoir, par exemple, remplacer les juges dans des cas encore plus complexes que celui de la libération conditionnelle aux États-Unis. Quand des algorithmes participent à la vie de la cité se pose également la question de leur responsabilité. Revenons sur le logiciel Compas. Il présente sur un juge l'avantage d'une certaine cohérence. Il a été montré notamment que les décisions des juges sont dépendantes de l'heure ; il vaut mieux passer après le repas qu'avant. Et celles des cours de justice, par exemple aux prud'hommes, varient énormément d'une chambre à une autre. Pas de cela avec les algorithmes ! Ils peuvent garantir une certaine cohérence.

Nous pourrions également espérer qu'ils soient plus « justes », qu'ils ne discriminent pas suivant les origines ethniques, le genre... Pourtant, des journalistes ont évalué les prédictions de Compas et découvert qu'il surestimait largement les risques de récidives des condamnés noirs. Des informaticiens racistes ? Pas vraiment, mais on ne sait pas écrire un algorithme qui prédise les récidives - la question est trop complexe. Alors on utilise un algorithme d'apprentissage automatique. On lui apprend le travail à réaliser en l'entraînant sur un grand volume de données de décisions de juges, à imiter des humains. Ce sont ces décisions, qui présentaient des biais raciaux, que Compas a reproduites. Il faut avoir conscience des problèmes que l'utilisation de programmes informatiques peut soulever, vérifier ces programmes et les données qui sont utilisées pour les « entraîner », surveiller leurs résultats.

Notre exemple nous a permis d'insister sur un aspect essentiel de la responsabilité : l'absence de biais, l'équité. La transparence en est un autre. Nous pouvons, par exemple, nous inquiéter de ce que Facebook fait de nos données personnelles dans une relative opacité. Nous pourrions aussi parler de la loyauté : faut-il accepter un service qui propose des restaurants en disant ne tenir compte que des avis de consommateurs et qui remonte en réalité dans sa liste de résultats les commerçants qui paient pour ça ? La responsabilité sociétale des algorithmes a nombre de facettes.

Les algorithmes peuvent nous permettre d'améliorer nos vies. Il faut corriger leurs défauts, combattre leurs biais inacceptables. Il peut s'avérer difficile de vérifier, d'expliquer leurs choix, s'ils proviennent de statistiques mettant en jeu des milliards d'opérations ou s'ils se basent sur des motifs complexes découverts par des algorithmes d'apprentissage. Pourtant, notre incompétence ne peut pas servir de justification pour autoriser le viol de principes moraux. Quand les effets des décisions sont sérieux, comme garder une personne incarcérée, sans doute vaut-il mieux attendre d'être certain du fonctionnement de l'algorithme, exiger qu'il explique ses choix et, bien sûr, faut-il pouvoir les contester.

Serge Abiteboul, Inria et ENS, Paris

Cet article est paru dans Le magazine La Recherche, N°531 • Janvier 2018

Le bot qui murmurait à l'oreille de la vieille dame




ça y est, le livre est publié par Le Pommier (octobre 2018)
disponible dans toutes les bonnes librairies
et bientôt en version électronique

La page du livre sur Le slow blog

La Poste, L'Oréal, Filfocs et Theconversation

9 octobre : IA @ La Poste, panel sur Données et IA

8 octobre : Prix L'Oréal-UNESCO Pour les Femmes et la Science, participation au jury et à la remise du prix

4 octobre : 7th French-Israeli Workshop on Foundations of Computer Science, présentation : Explanations and Transparency in Collaborative Workflows

2 octobre : soirée anniversaire de theconversation.fr