Doutes sur la fiabilité des neurosciences

C'est une des interrogations les plus angoissantes pour les chercheurs : le phénomène que je mets en évidence est-il bien réel, d'autres équipes le retrouveront-elles ou bien n'est-ce qu'une illusion provoquée par mon protocole expérimental ? La question peut sembler étonnante à première vue mais elle est de plus en plus d'actualité dans le domaine du vivant, pour lequel on ne peut obtenir le degré de certitude exigé dans la découverte du boson de Higgs. Il a ainsi été démontré que de nombreuses études biomédicales, si ce n'est la plupart d'entre elles, étaient... fausses dans le sens où elles décrivaient des effets qui n'existaient probablement pas et que l'on n'arrivait pas à reproduire. Le même constat a été fait en génétique et en psychologie. Aujourd'hui, c'est au tour des neurosciences de se retrouver sur la sellette suite à une étude américano-britannique publiée le 10 avril par Nature Reviews Neuroscience.

L'origine du mal est connue. Il s'agit de la fameuse pression mise sur les scientifiques, la loi du "Publie ou péris" ("Publish or perish" dans la version anglo-saxonne), puisque l'évaluation des chercheurs et les budgets décrochés par leurs laboratoires dépendent notamment du nombre d'articles publiés. Cette course à la référence incite les acteurs de la science à multiplier les études et les expériences avec des protocoles pas toujours rigoureux sur le plan statistique. Le manque de moyens alloués aux laboratoires participe aussi à cette dérive puisque les contraintes budgétaires restreignent la taille des échantillons qui fournissent les données à analyser. Le tout a pour conséquence de réduire la puissance statistique de ces études, c'est-à-dire la probabilité pour qu'elles découvrent un effet et pour que celui-ci soit réel. Avec une puissance statistique de 80 %, qui est une norme correcte, quatre études sur cinq mettront en évidence un phénomène et il y a, à l'inverse, assez peu de chances pour que ce qu'elles trouvent soit un artéfact.

Un autre facteur concourt au manque de fiabilité dans certains domaines : le biais de publication. Les revues préfèrent les découvertes, les résultats "sexy" et nouveaux, aux expériences qui n'ont rien mis en évidence (ce qui est aussi un résultat...) et aux articles dont les auteurs ont simplement voulu vérifier les mesures de leurs collègues, activité peu flamboyante mais indispensable à la bonne marche de la science. Ce biais a donc pour conséquence de passer sous silence un certain nombre de travaux modérant la portée des découvertes tonitruantes qui se retrouvent parfois à la "une" des gazettes... et dont on n'entend plus jamais parler ensuite.

Si les auteurs de l'étude publiée par Nature Reviews se sont intéressés aux neurosciences, c'est parce que la discipline est envahie par des études s'appuyant sur de petits échantillons. Pour illustrer ce propos, je me permets de citer le "papier" que la chercheuse britannique Deevy Bishop a récemment critiqué sur son blog : il s'agit d'une étude italienne montrant que les enfants dyslexiques lisent mieux après avoir pratiqué des jeux vidéo d'action. Magnifique pour les médias. Le problème, c'est que cette étude a été réalisée avec deux groupes de seulement dix enfants et que sa puissance statistique est inférieure à 20 %... Toute la question consistait donc à savoir si ce genre de publication était une exception ou bien la règle en neurosciences. Pour le déterminer, l'équipe américano-britannique s'est appuyée sur une cinquantaine de méta-analyses réalisées en 2011 dans la discipline. Une méta-analyse est un travail qui, en regroupant toute une série d'études portant sur un problème particulier, permet d'augmenter la puissance statistique du tout et donc de se faire une idée plus juste des effets découverts... ou illusoires ! En réalisant en quelque sorte une méta-analyse de méta-analyses, ces chercheurs ont pu faire des statistiques sur les méthodologies de leurs petits camarades.

Le résultat est assez édifiant ou attristant selon le point de vue selon lequel on se place. Suivant les domaines (neuro-imagerie, modèles animaux, etc.), la puissance statistique moyenne des études en neurosciences est comprise entre 8 et 31 %, soit bien loin de la barre des 80 %. Les chercheurs prennent ainsi l'exemple des études où l'on place des rats dans un labyrinthe de Morris, qui est en fait un bassin dans lequel une plateforme est cachée, immergée, que les animaux apprennent à trouver en fonction de certains indices. L'objectif est d'évaluer la mémoire des rongeurs sans qu'ils puissent s'aider de leur odorat comme cela peut être le cas avec des labyrinthes classiques. Pour obtenir une puissance statistique de 80 %, il faudrait au minimum 134 animaux par expérience. Pour monter à 95 %, il en faudrait 220. Or, en moyenne, les études en question n'en utilisaient que... 22, soit dix fois moins.

En étant courantes, ces négligences méthodologiques font peser un doute légitime sur la fiabilité des neurosciences, qui ne le méritent évidemment pas. De bonnes pratiques existent aussi puisque l'analyse montre que près de 15 % des études ont une excellente puissance statistique, supérieure à 90 %. C'est avec les autres que les auteurs de l'article de Nature Reviews sont impitoyables, soulignant qu'une recherche à laquelle on ne peut se fier est inutile et coûteuse. Pour eux, il est anormal qu'après des décennies de recherches en neurosciences la taille moyenne des échantillons n'ait pas crû de façon substantielle alors même que les phénomènes restant à découvrir ont toutes les chances d'être de plus en plus subtils. Ils préconisent donc de multiplier les collaborations entre équipes, de manière à augmenter la taille des échantillons sans que chaque chercheur soit accablé de travail pour autant. Ils conseillent également une totale transparence sur les méthodologies et les données, pour éviter la tentation du cherry picking, cette pratique qui consiste à sélectionner les résultats qui vous arrangent et à laquelle le "Publie ou péris" conduit parfois.

A l'heure où des sommes colossales sont investies dans les neurosciences, que ce soit avec le Human Brain Project (plus d'un milliard d'euros alloués par la Commission européenne) ou la BRAIN Initiative que vient de lancer Barack Obama(avec un budget de 100 millions de dollars), il est bon de renforcer la crédibilité de la discipline en rappelant certaines bases...

Pierre Barthélémy