Processus d’évaluation : « Etre premier en ordre de passage vous pénalisera »

Une expérience américaine montre que les évaluateurs octroient de meilleurs scores au fil du temps, observe Charles Cuvelliez, professeur en communication, dans une tribune au « Monde ». Un biais cognitif qui pèse lourdement sur la rationalité de nos décisions.

LE MONDE ECONOMIE | 30.10.2018 Par Charles Cuvelliez (Professeur à l’Ecole polytechnique de l'université libre de Bruxelles (ULB)

Tribune. Si décider de votre horaire de passage à un concours vous a toujours angoissé, vous avez bien raison car c’est loin d’être un détail sans influence sur le résultat. C’est la leçon d’expériences menées par deux chercheurs de l’université de Virginie, qui ont mis en évidence un nouveau biais cognitif (« Do Evaluations Rise With Experience ? » Kieran O’Connor, Amar Cheema, Psychological Science n° 29/5, 1er mars 2018).

Ils ont demandé à un groupe de 168 étudiants de donner un score à dix histoires qu’on leur demandait de lire, à raison d’une histoire par jour, de façon à étaler le processus d’évaluation dans le temps. L’ordre dans lequel les histoires leur étaient données différait selon les étudiants. Or, ce sont les histoires lues dans les derniers jours qui ont eu le meilleur score, peu importe laquelle.

En fait, la note attribuée avait tendance à monter jour après jour. On leur a ensuite demandé, au fur et à mesure qu’ils avançaient dans leur évaluation des dix histoires, de juger la difficulté de cette tâche d’évaluation. Véracité, style, contenu, genre, chacun avait des critères d’évaluation différents, mais tous étaient d’accord pour dire que la tâche devenait plus facile avec le temps.

C’est ce qui fait penser aux chercheurs que notre cerveau confond inconsciemment la facilité à donner un score avec le score lui-même, comme si quelque chose qui devient (plus) facile à évaluer était forcément meilleur ! Et si l’on peut parler de « biais cognitif », c’est parce que les participants étaient persuadés d’évaluer de la même manière au début du test comme à la fin.

L’objectivité existe-t-elle ?

Si on fait le bilan de toutes les situations où une estimation s’étale dans le temps, cette expérience est riche d’enseignements. Passer le premier ou le dernier à l’épreuve orale, c’est un dilemme auquel tous les étudiants font face : les partisans d’aller les premiers à l’examen pensent avoir des questions plus faciles, un évaluateur pas encore rodé. Ceux qui préfèrent passer en dernier tablent sur l’espoir de connaître les questions déjà posées. Ce biais cognitif semble indiquer qu’il vaut mieux être le dernier de liste… ou avoir un nom qui commence par « Z » ! Un biais que les auteurs ont pu vérifier en consultant les archives des notes attribuées entre 2000 et 2009 pour 1796 cours d’une des plus grandes universités américaines…

De même, on maximise ses chances de réussite en choisissant comme cours ceux des professeurs qui ont toujours donné le même et ont déjà évalué des générations d’étudiants. Et pourtant, si on demandait l’opinion de ce professeur, il dirait que le niveau des étudiants d’aujourd’hui a bien diminué… alors qu’il est devenu plus indulgent avec le temps.

Allons plus loin : les entretiens de recrutement, les évaluations en fin d’année par le chef sont autant de situations où être premier en ordre de passage vous pénalisera. Et avec Internet où tout est évalué, coté, jugé, ce biais prend une dimension plus grande encore. Si vous notez sur TripAdvisor des restaurants de qualité égale, ceux que vous aurez fréquentés à la fin de vos vacances auront de meilleures notes que ceux du début de votre circuit touristique.

On savait déjà les sites et les forums de « rating » infestés de robots ou d’employés payés par les firmes pour que leurs produits soient bien évalués. Voilà maintenant qu’on ne peut même pas compter sur l’objectivité de celui qui noterait en toute bonne foi les mêmes produits. Les chercheurs ont même étudié les vingt dernières saisons de l’émission télévisée Dancing With the Stars : les scores donnés par les trois juges aux candidats gonflent d’année en année, alors que les qualités des participants ne grandissent guère au même rythme…

En appeler à l’intelligence artificielle

Comment atténuer ce biais ? On peut mettre en garde les évaluateurs. On peut les permuter régulièrement. On peut leur demander de n’attribuer de note à tous les candidats qu’en fin du test sur la base d’apprécisations prises tout au long des évaluations. On peut calculer un facteur correctif aux évaluations selon qu’elles se situent en début ou en fin (mais c’est alors tout un modèle compliqué à bâtir). Ou alors, oui, on pourrait songer à confier la tâche à l’intelligence artificielle (IA) qui, elle, n’a pas le sens du temps qui passe. A condition toutefois de l’entraîner avec des cas antérieurs qui n’auraient pas ce biais.

Ce qui est amusant, c’est que le règlement général sur la protection des données (RGPD) déteste les processus de prise de décision entièrement automatisés sur la base d’un profilage. Confier à une machine le soin de décider quelque chose pour un individu est, selon le RGPD, insupportable. Or cette expérience, si elle était confirmée par d’autres recherches, tendrait à prouver le contraire !

Cette expérience serait-elle un nouveau coup de boutoir contre la croyance en un libre arbitre qui nous permettrait de prendre rationnellement une décision, de signer un contrat, d’assumer nos actes, de vivre notre vie en faisant nos propres choix ? Des psychologues comme Stanislas Dehaene, des économistes, Prix Nobel, comme Daniel Kahneman et Richard Thaler s’évertuent désormais à nous convaincre que nos comportements individuels sont dictés par les processus biochimiques et des influences extérieures. Peut-être, mais en s’intéressant de manière intensive à tous ces facteurs, en comprenant leur impact sur nos décisions, nous pouvons récupérer notre libre arbitre en comprenant ce qui y fait obstacle. C’est aussi ce que les technologies et l’IA devraient avoir de meilleur à nous offrir : récupérer notre libre arbitre en gommant ces biais cognitifs.