Les bugs de l’intelligence artificielle

Par David Larousserie    Publié le 25 février 2019

Les succès de l’IA dans les domaines les plus divers, de la conduite automatique au diagnostic médical, feraient presque oublier qu’elle reste faillible.

Côté face, tout va bien pour l’intelligence artificielle, surtout pour son volet dit d’apprentissage automatique (ou statistique). Depuis le début des années 2010, elle vole de succès en succès. Ses algorithmes battent les humains au jeu de go, aux échecs, au poker, au casse-briques ou aux jeux d’arcade. Ils conduisent des voitures autonomes sur des milliers de kilomètres (presque) sans accident mortel. Commandés par la voix, ils lancent des flux radio, des achats en ligne, des bulletins météo… Ils diagnostiquent mieux que les médecins.

Côté pile, c’est moins riant. « Je ne ferais pas confiance à une très grande partie des découvertes en cours qui recourent à de l’apprentissage automatique appliqué à de grands ensembles de données », a prévenu le 15 février Genevera Allen, de l’université Rice, lors du congrès annuel de l’Association américaine pour l’avancement de la science, comme le rapporte le Financial Times. Dans leurs articles de recherche ou dans des tribunes publiées dans les médias, des spécialistes parlent d’« intelligence artificielle trompée », de « failles dans l’apprentissage automatique », de « crise », de « trouble profond »…

C’est l’intelligence artificielle même qui est touchée au cœur : des systèmes de reconnaissance d’images prennent des vessies pour des lanternes, des « pirates » attaquent les algorithmes et les font dérailler, les corrections des biais touchant ces algorithmes mettent à l’épreuve les statisticiens et les plus visionnaires réfléchissent à la manière de rendre plus intelligentes ces machines qui, il faut bien le dire, sont encore assez bêtes.

Apprendre par l’exemple

Evidemment, corriger ces défauts devient prioritaire, d’autant que l’avenir promet des applications bien plus critiques que de jouer au go ou distinguer un chaton d’un lapereau : diagnostic médical, conduite de véhicules, aide à la décision pour des verdicts judiciaires, pour l’attribution de crédits… Alors dans les labos, en même temps que certains bricolent leur système pour être meilleurs que les concurrents, d’autres ne parlent que de quête de « robustesse », « fiabilité », « certification », « reproductibilité », « confiance », « équité »…

Avant de passer en revue ces défauts et les corrections que tente d’y apporter la communauté scientifique, rappelons brièvement ce que sont ces systèmes d’apprentissage automatique.

Comme leur nom l’indique, il s’agit, tel un enfant, d’apprendre par l’exemple. On montre au programme informatique des cas particuliers afin qu’il ajuste ses paramètres pour coller à la bonne réponse fournie (par exemple la nature de l’objet dans l’image). Puis, magie de la technique, même pour une image inconnue, le système généralisera et donnera la bonne réponse. « Petit » détail, la fonction mathématique qui permet de passer des images aux réponses contient des millions, voire des milliards de paramètres. Historiquement, ces paramètres ont été comparés à des neurones, d’où le nom de « réseaux de neurones », dont une variante est appelée deep learning. Une autre façon de voir ces algorithmes est de se les imaginer capables, dans un espace immense où chaque point serait une image, de tracer une frontière géométrique séparant les objets de nature différente.

« Il faut s’interroger sur le fonctionnement de l’intelligence artificielle et le contrôler », 

Jean-Michel Loubes, statisticien, université de Toulouse

Mais revenons à nos soucis. En 2013, premier signal d’alarme sur un dysfonctionnement, un an après que le deep learning a écrasé tout le monde à une compétition de reconnaissance d’images. Une équipe diverse (Facebook, Google, université de Montréal…) modifie imperceptiblement l’image d’un chien blanc que le système reconnaît comme une… autruche (alors qu’un humain ne voyait même pas le changement) ! En 2017, une équipe japonaise a même fait une démonstration en changeant un seul pixel. D’autres exemples trahissent les vices cachés de ces systèmes. Pour distinguer un loup d’un chien, le système se base principalement sur… la couleur du fond tout simplement car il a « appris » qu’il y a plus de loups dans les neiges que de chiens. Ou encore, en 2018, une équipe des universités de York et Toronto s’est amusée à ajouter sommairement un éléphant dans des images et selon sa position, il devenait invisible au système ou était pris pour une chaise.

« Ces algorithmes capturent des corrélations curieuses, qui peuvent n’avoir aucun rapport avec la question posée », résume Léon Bottou, du laboratoire d’intelligence artificielle de Facebook. Plus prosaïquement, ils ne comprennent pas ce qu’ils font.

Sécurité des réseaux de neurones

Le pire est que ces défauts ne sont pas des bogues mais bien des problèmes intrinsèques. Ces quelques soucis sont devenus plus sérieux lorsque de petits malins y ont vu des façons d’attaquer ces systèmes afin de les tromper, motivant d’autres chercheurs pour inventer des parades. Un nouveau domaine, celui de la sécurité des réseaux de neurones, est né.

Côté « attaque », il est possible d’ausculter les entrailles des algorithmes afin de saisir où passent les « frontières » que cherche à dessiner l’algorithme pour séparer les différentes classes d’objets. Ensuite, on construit une image proche de cette frontière mais dont la modification de quelques pixels la fait basculer de l’autre côté, conduisant à une erreur d’étiquetage.

Mieux, en 2016, une équipe américaine a proposé une « attaque » universelle ne nécessitant pas de connaître les détails de l’algorithme. Il suffit d’observer les « réponses » de la machine pour élaborer un modèle simplifié de la machine visée et construire des images ad hoc la faisant dérailler. « La condition est d’avoir accès au système pour l’interroger, ce qui n’est pas toujours possible », note Nicolas Papernot, l’un des membres de l’équipe, aujourd’hui chez Google Brain, dans un groupe sur la sécurité et la protection des données.

Autre « attaque », en 2017, une équipe académique américaine ajoute des Post-it sur un panneau de signalisation et fait prendre à un algorithme un panneau « sens interdit » pour une « vitesse limitée à 50 km/h ». Une équipe de Google, la même année, a dessiné des « autocollants » informes qui, posés à côté d’une banane, la font passer pour un grille-pain. D’autres scénarios d’attaques, plus intrusifs, consistent à s’introduire malicieusement dans la phase d’apprentissage afin de la guider vers de mauvaises réponses.

Côté défense, les parades ont elles aussi fleuri, donnant même lieu à des concours lors de conférences spécialisées. Une stratégie consiste à introduire des exemples « tordus » dans la phase d’apprentissage, pour entraîner le système à se méfier. Il est aussi possible de masquer les mécanismes à l’intérieur du système qui trahissent ce qui se passe aux frontières.

Avec des collègues, Nicolas Papernot a mis en ligne un programme, Cleverhans, qui permet de tester les algorithmes face à diverses attaques et qui propose aussi des parades. Ce chercheur a également élaboré une technique introduisant un peu d’aléas dans les calculs afin que les résultats soient moins dépendants de données particulières. Accessoirement, la méthode est utile pour protéger les données personnelles, car, on l’ignore souvent, la rétro-ingénierie permet de retrouver dans les millions de paramètres des algorithmes des traces des données ayant servi à l’apprentissage… Celles-ci pouvant être très personnelles, on imagine les risques.

Sortes de boîtes noires

« Ce travail sur la sécurité aide aussi à mieux comprendre le fonctionnement de ces algorithmes et leurs limites », indique Nicolas Papernot. Cette difficulté à expliquer comment la machine obtient ses résultats est en effet un autre point négatif du deep learning. « Il utilise des critères de ressemblance pour classer, décider… mais cela n’explique pas le classement. Or nous allons donner du pouvoir décisionnel à ces systèmes qui sont en fait des boîtes noires », critique Jean-Michel Loubes, professeur de statistique à l’université de Toulouse.

L’exemple du chien pris pour un loup car c’est en fait la couleur du fond qui compte montre que ces questions d’« explicabilité » sont importantes. Il ne s’agirait pas d’avoir le même genre de bizarreries pour l’attribution d’un crédit bancaire, une décision de mise en liberté, un recrutement…

« Nous sommes un peu en position de faiblesse face à ce type d’intelligence artificielle, qui se présente en outre comme mathématique, donc neutre, objectif… Mais non, il faut s’interroger sur son fonctionnement et le contrôler », indique Jean-Michel Loubes. Ce spécialiste est d’ailleurs membre d’un projet de l’Institut de recherche technologique (IRT) Saint-Exupéry dont une branche s’occupera d’« équité » des algorithmes. Il espère aussi que naîtra à Toulouse l’un des futurs instituts interdisciplinaires d’intelligence artificielle annoncés par le gouvernement, qui aura aussi un tel volet.

Pour « ouvrir » ces boîtes noires, à l’IRT déjà, des outils de visualisations du « cerveau » artificiel permettent de savoir quelles zones de l’écran sont « regardées » par un algorithme jouant au casse-briques, un jeu vidéo assez sommaire. A l’université, Jean-Michel Loubes « stresse » mathématiquement diverses variables pour voir l’effet sur le résultat et ainsi estimer leur rôle dans la décision. Il existe aussi des méthodes pour approcher le résultat complet d’un algorithme très complexe, par des modèles plus simples mais évidemment dans un domaine de validité plus restreint.

Cette « opacité » n’est pas le seul nuage gris dans le ciel de ces technologies. Les données, qui sont le secret de la réussite de ces systèmes, en sont aussi l’un des points faibles. Leur quantité et leur qualité sont problématiques. Côté quantité, les performances de certains systèmes sont à relativiser au regard de ce qu’ils ont dû ingurgiter.

Léon Bottou a par exemple fait des estimations, qu’il a présentées lors d’un exposé le 6 mars 2018 à Sorbonne Université : pour la reconnaissance d’images ou la traduction, il faut plus qu’un humain peut voir ou lire en une vie pour entraîner les algorithmes les plus performants. Pour le jeu de go, c’est plus de parties, au niveau grand maître, que l’humanité entière a jouées… A l’inverse, pour beaucoup de tâches, il n’y a pas assez de données. Alors les chercheurs utilisent ce qu’ils appellent « l’apprentissage de transfert ». On essaie un réseau de neurones qui marche pour une tâche et on espère qu’il ne sera pas mauvais pour une autre…

Mais le « pire » vient de la qualité des données elles-mêmes. Elles peuvent être biaisées, c’est-à-dire déséquilibrées sur certaines variables (origine ethnique, sociale, sexe…). « Avant, on cueillait à la main les données et les biais étaient plus faciles à repérer. On choisissait aussi nous-mêmes les traits pertinents. Avec l’apprentissage, c’est la machine qui choisit ces traits et cela devient impossible à contrôler », rappelle Nicholas Asher, directeur de recherche CNRS à l’Institut de recherche en informatique de Toulouse et porteur du futur projet d’institut toulousain sur l’intelligence artificielle.

« Les humains acquièrent une quantité énorme de connaissances par observation. Il faut un nouveau paradigme qui permette aux machines d’apprendre de la même manière », Yann LeCun, Facebook

Ces biais, qui déséquilibrent une décision, sont une vraie plaie, vieille comme les statistiques. Ils peuvent exister dans le monde réel (discriminations envers des minorités) et dans certaines situations, il est souhaitable que les algorithmes corrigent ces défauts. Mais les biais peuvent être aussi dans l’ensemble des données d’apprentissage, auquel cas il convient de les détecter puis de les corriger, soit en modifiant ces données d’entraînement, soit en modifiant l’algorithme afin de « pénaliser » certains cas. « Nous devons alors faire attention à ne pas nuire aux performances tout en surveillant les biais », rappelle Jean-Michel Loubes.

Et puis il y a des biais cachés, c’est-à-dire des variables qui en influencent d’autres sans qu’elles soient explicitement présentes. Une habitude de consommation peut trahir le sexe d’une personne, sans que le genre soit mentionné dans les données. Compte tenu du lien étroit entre ces questions de biais et les questions éthiques, les principaux acteurs du numérique ont développé des outils qui permettent de jouer avec des données et de corriger des biais comme au sein du groupe PAIR de Google ou chez IBM avec son outil AI Fairness 360.

Comme si cela n’était pas assez compliqué, fin janvier, lors d’une conférence sur l’équité à Atlanta, une équipe a douché ces tentatives en pointant qu’elles relèvent d’une pensée trop technicienne et qu’elles risquent de manquer leur cible si elles ne tiennent pas compte du contexte social dans lequel elles s’appliquent. Et de plaider pour une collaboration plus étroite avec les sciences humaines et sociales pour élaborer en commun des règles plus justes.

Ces problèmes de statistique débouchent sur d’autres, tout aussi connus mais qui prennent une coloration nouvelle dans ce contexte d’intelligence artificielle : les corrélations et les causalités. Par définition, les méthodes d’apprentissage fournissent des corrélations, mais, sans effort particulier, ne peuvent dire quelle variable est la cause de quoi. Le piège bien connu est de constater qu’il y a plus de morts à l’hôpital et que donc l’hôpital tue… « Un espoir est que, en tentant de comprendre cette notion de causalité, on parvienne à combler le fossé actuel entre l’intelligence et l’apprentissage automatique », estime Léon Bottou. Après tout, on comprend le monde en liant les causes et leurs effets.

Corrélations et causalités

« C’est un projet à long terme pour permettre aux machines de découvrir des relations de causalité leur permettant de prédire et d’agir à bon escient », indique Yann LeCun, autre pionnier du domaine, professeur à l’université de New York et responsable scientifique du laboratoire d’intelligence artificielle de Facebook. Pour Léon Bottou, être capable de comprendre la causalité aiderait ces machines à raisonner, une capacité dont elles sont aujourd’hui dépourvues. Récemment, des collègues de l’université de Tübingen (Allemagne) ont entraîné une machine à reconnaître, dans des paires de variables, laquelle est la cause de l’autre (altitude/température, consommation d’essence/déplacement…). Lui-même a réussi à trouver, dans des images, « des indices qui suggèrent des relations causales, que nos méthodes aujourd’hui ignorent ». Un premier pas.

Mais ce n’est pas la seule stratégie pour devenir plus « intelligent ». Pour Yann LeCun, « les jeunes animaux et les bébés humains acquièrent une quantité énorme de connaissances, principalement par observation : nous apprenons que le monde est tridimensionnel, qu’il y a des objets qui en cachent d’autres, que les objets non soutenus tombent… Il nous faut un nouveau paradigme qui permettrait aux machines d’apprendre de la même manière ». Concrètement, il s’est lancé dans des modèles prédisant le futur, par exemple la suite d’une séquence vidéo. Cela marche… quelques secondes, avant de devenir flou.

Joëlle Pineau, professeure à l’université McGill (Montréal) qui travaille également au laboratoire de Facebook FAIR, a fait sien l’adage rugbystique qui proclame « entraînement difficile, match facile ». Autrement dit, afin d’augmenter les capacités de généralisation des algorithmes, elle leur fait apprendre dans un environnement perturbé. Par exemple, au classique casse-briques, elle ajoute en fond des vidéos qui n’ont rien à voir avec le jeu. L’apprentissage est plus long et plus difficile, mais du coup il sera plus efficace dans des situations inattendues.

Geoffrey Hinton, autre pionnier du domaine, travaille à un changement d’architecture des réseaux de neurones eux-mêmes pour leur faire acquérir une dimension oubliée : les algorithmes actuels identifient les objets sans tenir compte de la position des parties reconnues les unes par rapport aux autres. Son idée de « capsules », remédiant à ce problème et parue en 2017, a déjà été citée plus de cent fois.

Enfin, d’autres rêvent d’enterrer la hache de guerre entre l’apprentissage statistique et les méthodes symboliques, c’est-à-dire l’enchaînement de règles explicites pour construire un raisonnement. La méthode avait eu son heure de gloire dans les années 1970-1980, notamment dans les systèmes experts, avant d’être balayée par les réseaux de neurones. « Mélanger les deux, c’est une bonne idée, évidemment, souligne Léon Bottou. Mais ça veut dire quoi ? Comment fait-on ? Aujourd’hui, on ne sait pas le faire ».