CheckNews Une intelligence artificielle a-t-elle réussi à «lire dans les pensées» et à les représenter en images ?

par Florian Gouthière  publié aujourd'hui

Parvenir à transcrire des mesures cérébrales en images n’est pas chose nouvelle. Un récent article, qui n’a pas encore été évalué par la communauté scientifique, décrit une approche utilisant les ressources de Stable Diffusion, une intelligence artificielle dédiée à la génération d’images.

Exemples d'images présentées à un volontaire (rangée supérieure) et d'images reconstruites à partir des signaux IRMf (rangée inférieure) dans l'étude présentée par Takagi et Nishimoto. (Takagi et al. / MS COCO dataset)

 

Question posée par Chacol le 3 mars 2023.

Début mars, un tweet a plongé de nombreux lecteurs de CheckNews dans la plus grande incrédulité : une intelligence artificielle aurait été entraînée pour décoder des signaux cérébraux, et montrer ce à quoi des volontaires étaient en train de penser. Le message est illustré par une série d’images : on y voit par exemple celle d’un ourson en peluche, présentée à un volontaire durant une IRM, mise en regard avec un second ourson, très légèrement différent, qui aurait été reconstitué par l’intelligence artificielle (IA) à partir du signal IRM. «En d’autres termes, commente l’auteur du tweet viral,l’IA lit littéralement dans les pensées des gens.» Et parvient à les représenter fidèlement.

Pure science-fiction ? Malgré le lourd parfum de Brainstorm (1983) ou de Strange Days (1995) qui semble peser sur cette annonce, elle n’a absolument rien d’invraisemblable. Certes, le cas particulier cité ici renvoie à une étude présentée début décembre 2022 en prépublication sur bioRxiv, qui n’a pas encore fait l’objet d’une relecture par les pairs. Mais la technologie, ou plutôt les technologies décrites dans l’article n’ont absolument rien de délirant. Un petit état des lieux de celles-ci s’impose pour comprendre en quoi cette étude particulière change – ou non – la donne… et si la réaction des réseaux sociaux est à la hauteur des résultats présentés.

Ces travaux s’inscrivent, en premier lieu, dans le prolongement de recherches menées depuis une quinzaine d’années par diverses équipes principalement basées au Japon et aux Etats-Unis. Leur principe est, d’ailleurs, somme toute assez simple. Lorsque vous observez une image donnée, l’activité de plusieurs régions de votre cerveau change de façon caractéristique. Il en va de même lorsque vous utilisez votre imagination. Au milieu des années 2000, plusieurs laboratoires ont eu l’idée d’entraîner des ordinateurs à comparer les signaux recueillis par imagerie par résonance magnétique fonctionnelle (IRMf) avec les images présentées à des volontaires. Avec suffisamment d’exemples en mémoire, les logiciels pouvaient ainsi déduire le «perçu» en analysant le «pensé».

Quinze ans de recherches

L’une des premières annonces marquantes dans le domaine remonte à 2008, lorsqu’une équipe japonaise a annoncé avoir réussi à corréler des images sommaires (mosaïques carrées, de dix carreaux de côté, en noir et blanc) avec les mesures de la variation du débit sanguin dans le cortex visuel des participants à l’étude. Une fois la machine calibrée avec quelques images d’entraînement, l’activité cérébrale des volontaires exposés à des mosaïques n’appartenant pas au catalogue initial pouvait être analysée… pour déduire le profil général des dessins (voir ci-dessous).

Les progrès expérimentaux furent rapides. En effet, trois ans plus tard, une équipe étasunienne appliqua la même technique à des vidéos en couleurs. Durant la phase d’apprentissage, l’ordinateur a corrélé les mesures du flux sanguin avec des clips vidéo visionnés par les volontaires. Lorsque des vidéos inédites étaient présentées aux participants, le logiciel était capable d’extrapoler les images vues, en présentant une synthèse des images utilisées pour l’entraînement. Ainsi, lorsqu’une personne regarde un homme en mouvement, la machine comprend que le type d’image perçu appartient à la catégorie des «personnages en déplacement», et extrapole une silhouette mouvante à partir de toutes ses archives en mémoire.

Déjà bluffant, mais on pouvait aller encore plus loin. Deux ans plus tard, tirant profit des similarités de l’activité du cortex visuel lorsqu’on perçoit réellement une image ou qu’on se remémore celle-ci, l’équipe japonaise à l’origine des premiers articles a présenté dans Science les premiers décodages… de rêves. Avec un résultat qui, s’il reste modeste (on n’obtient qu’une idée sommaire des événements survenus dans le rêve du volontaire, telle que la présence d’une personne, activité de déplacement, etc.), n’en était pas moins marquant.

Les études ultérieures ont cessé de se focaliser sur le seul cortex visuel pour analyser d’autres données recueillies lors de la procédure d’IRMf. Qu’il s’agisse d’images perçues ou imaginées, les modèles se sont peu à peu affinés en prenant en compte les signaux produits non plus seulement à l’instant où l’image est perçue, mais lorsqu’elle est analysée, catégorisée et interprétée par le cerveau.

L’essor de la génération d’images par l’intelligence artificielle

Pendant que ces travaux sur le «décodage de pensées» poursuivaient leur chemin, un champ de recherche apparemment bien éloigné a également connu un essor impressionnant : celui de la génération d’images par intelligence artificielle (IA). L’étude qui a fait sensation sur Twitter début mars se trouve à la croisée des deux disciplines.

Pour traduire un texte en image avec une grande profusion de détail, dans d’innombrables styles, deux approches se sont distinguées depuis le début des années 2020. D’une part, les «réseaux antagonistes génératifs» (generative adversarial networks, ou GAN) et, d’autre part, la méthode de «diffusion», à l’origine des prouesses d’outils comme Dall-E 2 ou Stable Diffusion (1).

Les succès de ces IA ont entraîné le développement d’un domaine d’étude, encore balbutiant, qui vise à établir des analogies et des corrélations entre l’activité cérébrale humaine et le fonctionnement de ces intelligences artificielles. «Chaque composant de Stable Diffusion traite les informations sous forme de tableaux de nombres»,explique ainsi à CheckNews Yu Takagi, l’un des deux auteurs des travaux mis en avant sur Twitter. «Pour générer une image, Stable Diffusion réalise une cascade d’opérations mathématiques pour traiter ces tableaux de nombres. Lorsqu’on enregistre l’activité cérébrale, les données générées sont également des tableaux de nombres…» L’idée est donc d’établir des modèles mathématiques qui permettraient de convertir un jeu de données en un autre jeu de données. Traduire, en quelque sorte, les signaux IRMf en signaux directement interprétables par les IA.

Là encore, on est loin de la science-fiction. Divers articles de recherches ont été soumis, fin 2022, qui décrivent des résultats notables dans ce domaine. Une équipe de Santa Barbara a ainsi annoncé avoir réussi à faire correspondre des données IRMf de volontaires observateurs d’images avec un réseau de type GAN. Ses auteurs confirment à CheckNews que les travaux soumis par l’équipe japonaise suivent le même principe, mais appliqué à une IA fonctionnant par l’approche «diffusion». Également sollicité par CheckNews, un chercheur du Massachusetts Institute of Technology, spécialisé dans le décryptage des signaux IRMf, estime pour sa part que les travaux japonais ne se démarquent pas fondamentalement des autres productions actuelles, «que ce soit en termes d’application, de méthodologie ou de découverte scientifique».

En quoi a consisté l’étude japonaise mise en avant sur les réseaux sociaux ?

Afin de mener à bien ses recherches, le duo japonais n’a pas eu à placer de volontaires dans une machine IRMf. Ils ont en effet utilisé une base de données baptisée Natural Scenes Dataset (NSD), établie en 2022, qui corrèle une dizaine de milliers d’images (et leur description détaillée) aux relevés IRMf correspondants, réalisés sur huit volontaires. Un peu plus de 27 000 associations y sont ainsi encodées.

Yu Takagi et son confrère Shinji Nishimoto ont utilisé une partie de NSD (en l’occurrence, les informations IRMf relatives aux stimuli d’images montrés aux sujets, et les descriptions textuelles associées) «pour établir une correspondance entre les données IRMf et leurs représentations mathématiques /abstraites dans l’IA».Takagi précise «ne pas avoir entraîné Stable Diffusion, mais le modèle qui établit une correspondance entre [les tableaux de données] IRMf de cette base, et [ceux de] Stable Diffusion». Durant cette phase, une corrélation a également été établie entre la description textuelle des images initiales et les données IRMf caractéristiques de l’analyse du sens des images.

Dans la seconde phase de l’étude, Takagi et Nishimoto ont communiqué à Stable Diffusion des données IRMf «traduites» (issues du NSD, mais qui n’avaient pas servi à l’entraînement). Les auteurs nous précisent qu’à ce stade, «n’ont été utilisées que les informations du NSD relatives à l’activité cérébrale, mais ni les images initiales, ni les informations textuelles». Takagi et Nishimoto précisent également que les données IRMf spécifiques à l’analyse sémantique ont été utilisées pour aider Stable Diffusion à traiter l’image, de la même façon qu’une description textuelle est utilisée par cette IA pour guider son travail de traitement des données (par «débruitage», voir note 1) et générer une image.

Au final, c’est donc bien un jeu de données IRMf qui est directement interprété par l’IA pour produire une image. Une partie des données, perceptives, est interprétée par l’IA comme une image «de base», tandis que des données IRMf relatives au traitement «sémantique» de l’information, sont utilisées pour affiner le résultat.

Il est important de noter que de tels outils de décodage doivent être calibrés pour chaque volontaire : l’IRMf d’un individu pris au hasard ne saurait être interprété par une machine, sans qu’une corrélation ait préalablement été établie sur de très nombreuses images d’entraînement.

(1) Dans la première, l’IA apprend à produire des images en compétition avec une seconde IA qui cherche à détecter les erreurs de génération. La seconde technique, appliquée à la génération d’image depuis 2020 (et que l’on retrouve donc derrière Dall-E 2 ou Stable Diffusion) suit une voie radicalement différente. Le principe de base consiste à entraîner des IA à supprimer les signaux parasites («bruit») présents dans des images pour rendre celles-ci plus nettes. Si une image est particulièrement «bruitée», on peut aider l’IA en lui expliquant ce que l’on cherche à voir. Si l’IA a été entraînée à associer des mots à des images (par exemple en analysant des millions d’images de voiture, et en les associant au mot «voiture»), on peut alors lui préciser que l’image bruitée contient «une voiture». En supprimant progressivement du bruit de l’image, l’IA va bientôt repérer les contours du véhicule, et nettoyer l’image en fonction. L’idée derrière les IA génératives utilisant la «diffusion» pousse cette logique à son paroxysme, en soumettant à l’IA une image contenant… 100 % de bruit. Autrement dit, un amas de pixels parfaitement aléatoires. On lui soumet également une description de ce qu’elle est censée y voir. L’IA essaye alors de nettoyer l’image, jusqu’à ce qu’elle parvienne à trouver (ou croit trouver) les premiers points qui correspondent au profil général de ce qu’on lui a décrit (l’objet qu’elle est entraînée à reconnaître). Un peu comme si l’on vous présentait une feuille sur lesquels se trouvent des dizaines de points, et que l’on vous suggère de les relier pour dessiner un arbre : même si les points n’étaient pas intentionnellement disposés pour former un arbre, vous pouvez imaginer lesquels vous seront utiles pour former le tronc, lesquels le feuillage, etc. En itérant l’opération de nombreuses fois, l’IA crée de toutes pièces une image, sur la base de ce qui a été décrit.