A travers une initiative inédite, des scientifiques ont effectué une autocritique de certains de leurs travaux, mettant en lumière des faiblesses méthodologiques et des « tricheries » statistiques.
Il y a plusieurs mois, une drôle d’annonce a été postée à destination des chercheurs en psychologie. En substance, elle disait: « Nous invitons tout chercheur ayant perdu confiance dans certains de ses résultats précédents à nous faire part de ses raisons afin d’éclairer la communauté. » C’était là un épisode de plus dans ce qui est souvent décrit comme la crise de la reproductibilité en psychologie, c’est-à-dire le constat que bon nombre de résultats dans cette discipline ne sont pas confirmés ou sont entachés d’erreurs méthodologiques ou statistiques. En 2015, un vaste projet avait passé au crible 100 articles de psychologie, en tentant de reproduire leurs conclusions et 40 % seulement avaient passé l’épreuve.
Un an plus tard, un petit groupe de psychologues avait repris cette idée qu’« une fraction inconnue de découvertes publiées sont surestimées ou simplement fausses » et avait imaginé un moyen original de remédier en partie à ce mal : proposer aux chercheurs de faire leur autocritique.
« L’erreur fait partie de la science, mais elle est dure à admettre ». Julia Rohrer, doctorante en psychologie à l’université de Leipzig (Allemagne) et membre du projet.
Le 12 décembre 2018, les initiateurs de ce projet, baptisé « Loss of Confidence », ont rendu publique leur première moisson de confessions. Six équipes de chercheurs ont eu le courage de témoigner, dans des branches variées de leur domaine. « Nous nous attendions à plus, compte tenu des nombreuses réactions positives que nous avions déjà entendues, mais il faut bien avouer que c’est une démarche peu commune. C’est risqué d’être les premiers. L’erreur fait partie de la science, mais elle est dure à admettre », explique Julia Rohrer, doctorante en psychologie à l’université de Leipzig (Allemagne) et membre du projet.
« Briser une omerta »
Elle-même, encore trop jeune pour avoir des articles à (auto)critiquer, reconnaît que, très vite dans ses études, elle a senti qu’il existait des problèmes de méthode dans sa discipline. Elle a aussi senti ses collègues désemparés sur l’attitude à adopter face à ces situations. « Une espèce d’omerta règne encore dans la communauté, alors que nous savons qu’il y a des problèmes, décrit Nick Brown, doctorant en psychologie à l’université de Groningue (Pays-Bas). Un tel projet provoque des discussions et peut aider à briser cette omerta. »
La récolte des autocritiques, bien que faible, montre la diversité des raisons de cette perte de confiance dans les résultats. On trouve ainsi l’utilisation de méthodes statistiques inappropriée à la situation, de protocoles expérimentaux ne permettant pas d’être aussi affirmatif qu’annoncé, des sous-estimations de faux positifs, ou encore des « tricheries » statistiques assez répandues permettant d’obtenir les conclusions souhaitées…
A noter qu’aucun des articles sujets de cette autocritique n’a eu de fort impact, si l’on se réfère au faible nombre de citations recueillies. A noter aussi que l’un des articles avait déjà été rétracté. Dans ce cas, les auteurs saluent les vertus de la science ouverte, puisque l’accès aux données avait permis à un autre chercheur de pointer des faiblesses dans l’analyse.
« Ces premiers témoignages font discuter et réfléchir sur l’autocorrection de la science. Nous constatons aussi que d’autres domaines sont intéressés par notre initiative, comme la médecine ou l’économie », souligne Julia Rohrer.
Articles « dynamiques » vs « statiques »
Elle et ses collègues, dans leur article présentant ces témoignages, esquissent aussi des pistes pour changer la culture et inciter à ces pratiques d’autocorrection. « Admettre publiquement ses erreurs peut être un signal positif montrant que l’auteur est soucieux de la qualité de ce qui est publié », écrivent-ils, afin de minimiser les craintes d’effet négatif sur la réputation. D’ailleurs, les auteurs des confessions sont aussi auteurs de l’article, en guise de « récompense ». Ces chercheurs, qui étaient en fait déjà engagés dans une démarche critique de leur discipline, reprennent aussi l’idée de publier des articles « dynamiques », plutôt que « statiques », afin de pouvoir tenir compte de nouvelles données, de nouvelles analyses ou de nouvelles critiques.
« Nous sommes encore dans l’étape de la prise de conscience, mais il n’y a pas encore de grandes réformes, même si des choses commencent à bouger, par exemple sur la transparence des données », décrit Nick Brown, par ailleurs membre d’une jeune association, la Société pour l’amélioration de la science psychologique.
Les initiateurs du projet ont décidé de poursuivre l’expérience en laissant encore ouvertes les soumissions jusqu’au 31 janvier.
Aucun commentaire:
Enregistrer un commentaire