Evaluation par les pairs from the inside

Evaluation par les pairs from the inside

Des évaluations de qualité diverses…

Encadré par Bertrand et Ghislaine, j’ai rejoint il y a quelques mois l’équipe "étude de cas" du Mooc GdP. Je fais partie de ce groupe de galériens qui relis les évaluations, compare les résultats, et donne une note finale aux travaux réalisés pour valider le Mooc GdP avancé. Je lis des centaines d’évaluations. Beaucoup sont impressionnantes de finesse. Elles montrent que les "pairs" ont pris du temps, qu’ils ont le souci de faire progresser celle ou celui qu’ils ont à évaluer.

D’autres sont plus brutales et se contentent de souligner ce qui ne va pas, un détail qui cloche. Un apprenant peut recevoir un 30/100 avec pour seul commentaire une remarque sur un détail qui ne fait pas partie du barème… Certains pairs adoptent même un ton familier et désinvolte, qui peut contraster avec l’enjeu que les apprenants mettent parfois dans ce certificat. J’ai eu l’occasion dans un précédent poste, alors que j’étais dans un rôle d’apprenant, d’exprimer mon agacement vis-à-vis des "pairs" qui notent brutalement, à la hache.

le sandwich

Pour les dernières évaluations par les pairs, Rémi Bachelet a invité les évaluateurs à appliquer la méthode du Sandwich. Cette méthode est assez connue en vente : vous commencez par un point fort du produit, puis vous annoncez le prix, et vous poursuivez immédiatement par un avantage du produit. Le prix est noyé dans les avantages du produit… Ça permet d’empêcher le client de répondre, ou de réfléchir quand on lui annonce ce qu’il aura à payer.

Au contraire, l’évaluation qui applique cette méthode limite la violence ressentie quand quelqu’un nous fait une remarque négative. On commence par souligner ce qui est positif, puis on fait une remarque sur ce qui peut être amélioré, et on termine par du positif. Exemple :

C’est une production intéressante. J’ai particulièrement apprécié…

Tu aurais pu davantage développer….

Cela reste un très bon travail, très précis, détaillé et argumenté…

d’après clipart de treebuilder, sur openclipart.org

…Euh, le ketchup est un ajout personnel.

Évaluation par les pairs et position de vie

Que se passe-t-il dans la tête de celui qui évalue ? Comment se perçoit-il ? Comment perçoit-il l’autre personne évaluée ? Il n’y a pas de réponse unique.

Le schéma ci-dessus s’inspire des "positions de vie" en analyse transactionnelle. Un axe présente l’image de soi, l’autre l’image que l’on a de l’autre. L’étoile figure celui qui a confiance en lui, et qui se sent à l’aise dans la notation, et a le sentiment que ses "pairs" ont également un bon niveau, et peuvent lui apporter quelque chose.

Celui qui a une faible confiance en lui et en les autres évalue avec négligence, et met quasiment la même note à tout le monde, sans cliquer sur les liens proposés par les pairs… Tout le monde a 40%, 80% ou 100%. Amusant de voir que quelqu’un qui n’a présenté aucune annexe se verra attribué un maximum de point sur ce critère… Les commentaires sont laconiques et n’engagent à rien. Normal, puisque l’évaluateur n’a pas pris la peine de regarder le travail !

Certains oublient les hésitations qu’ils ont eues dès lors qu’ils ont une correction sous les yeux. Le plus inquiétant : ceux qui n’ont pas compris, même avec un corrigé, et qui adoptent un ton paternaliste pour rectifier ce qu’ils croient être des erreurs.

Une variante : ceux qui suivent le barème de façon mécanique et sont prêts à retirer 40% des points si un simple calcul se révèle faux ! Les commentaires restent encourageants : "désolé, tu as un bon raisonnement, mais tu as fais une erreur d’arrondi, et j’ai donc dû te mettre 0 sur le critère principal. Bonne chance pour la suite". Ceux-là figurent en bonne place parmi les normopathes dont parle Christophe Desjours.

L’étoile correspond à un pair qui évalue sur des critères objectifs et qui fait preuve d’empathie. Comme Astolfi, il comprend que l’erreur est "un outil pour enseigner", et apporte des indications adaptées, sans jugement… C’est le cas le plus fréquent, et j’ai vu passer quelques évaluations impressionnantes. Certains évaluateurs ont aussi témoigné de ce que le travail de leur pair leur avait appris.

Les plus rares : ceux qui auraient une faible image d’eux-mêmes et une bonne image des pairs. Ils hésiteraient sur leur capacité à évaluer… On voit ainsi quelques commentaires du type : "j’ai peut-être été trop dur, mais je laisse l’équipe encadrante rectifier si c’est nécessaire"…

En conclusion, on retient plus facilement les deux premiers, que l’on déteste. Mais ils sont aussi les plus rares. Sur 5 évaluations de pairs du type : 85%, 91%, 42%, 88% et 79%… il y en a une qui saute aux yeux et qui restera en travers de la gorge de la personne évaluée. Le contrôle par l’équipe, et l’évaluation finale au regard des notes attribuées par les pairs, du travail et du barème sont indispensables pour limiter les erreurs de notation et les injustices.

L’expérience de Milgram : première évaluation par les pairs

Plus que l’image de soi et de la personne dont on évalue le travail, le rapport au barème peut parfois éclairer une évaluation. Le barème devient un impératif qui s’impose à l’évaluateur comme la personne évaluée. C’est le garant d’une égalité de traitement dans le cadre d’un Mooc. Mais le suivi aveugle du barème, lorsqu’il s’accompagne d’une mauvaise compréhension de ses nuances, ou lorsqu’il est mal conçu peut provoquer des désastres !

Comme dans l’expérience de Milgram, le barème devient l’autorité ultime devant qui l’évaluateur oublie parfois tout bon sens. On voit alors des commentaires élogieux accompagner des notes très mauvaises… L’expérience de Milgram est une bonne illustration de ces moments où l’on oublie tout bon sens et tous principes, pour se plier à une autorité, une procédure ou une grille.