évaluation diagnostiqueingénierie pédagogiqueformation professionnelleconception de cours

Évaluation diagnostique : la faire tenir en dix minutes

Alpha Oumar Sow

Huit heures cinquante-cinq. Dix-huit personnes s'installent pour trois jours de formation à la conduite d'entretien. Vous demandez qui a déjà mené un entretien structuré : sept mains se lèvent. Deux de ces sept confondent « structuré » avec « questions fermées ». Vous le découvrirez jeudi, en corrigeant le troisième exercice.

Rien n'obligeait à attendre jeudi. Dix minutes suffisaient pour le savoir, à condition de ne pas transformer ces dix minutes en examen.

Un diagnostic n'est pas un contrôle

Un contrôle vérifie ce qui a été appris. Un diagnostic repère d'où l'on part. Les deux gestes se ressemblent — mêmes questions, même salle, même moment — et ils n'ont pas la même conséquence.

Le diagnostic sert à prendre trois décisions avant la première séance : ce que le groupe peut sauter, ce qu'il faut reprendre, et quelle erreur attaquer en priorité. S'il ne modifie aucune de ces trois décisions, ce n'était pas un diagnostic. C'était un contrôle déguisé.

Cette distinction a un effet immédiat sur la notation. D. Royce Sadler, de l'université du Queensland, a montré en 1989 qu'une note peut nuire à l'usage formatif d'une évaluation. Une note résume l'écart sans dire où il se situe, et détourne l'attention des critères. Pour un diagnostic, la note n'apporte rien : ce sont les erreurs, une par une, qui portent l'information.

Trois éléments à réunir avant d'écrire la première question

Le National Research Council américain a publié en 2001 une synthèse qui reste une référence sur la conception des évaluations. Elle décrit ce qu'elle appelle le triangle de l'évaluation : un modèle de ce que l'élève sait et apprend, des tâches qui produisent des traces observables, et une méthode pour interpréter ces traces. Ces trois éléments doivent être explicitement reliés et conçus comme un ensemble coordonné. Sinon, la portée des inférences tirées de l'évaluation est compromise (National Research Council, 2001).

L'exemple donné dans le rapport concerne les probabilités. Un professeur de statistiques ne gagne rien à savoir qu'un étudiant ne comprend pas les probabilités. Il a besoin du détail : cet étudiant confond probabilité conditionnelle et probabilité composée. Le détail change l'exercice à préparer.

Transposez. « Ce groupe ne sait pas recruter » n'aide personne. « Ce groupe rédige des questions orientées là où il croit poser des questions ouvertes » désigne l'exercice à faire dans l'heure.

La règle pratique qui en découle tient en une phrase : pour chaque question du diagnostic, écrivez la mauvaise réponse attendue et ce qu'elle signifiera. Si vous ne pouvez pas remplir cette ligne, retirez la question. Elle produira un score, pas une information.

Un pré-test n'est pas neutre

Poser des questions avant d'enseigner ne se contente pas de mesurer. Cela prépare.

Lindsey Richland, Nate Kornell et Liche Sean Kao ont publié en 2009 cinq expériences sur ce point, dans le Journal of Experimental Psychology: Applied. Les participants lisaient un texte sur la vision. Un groupe répondait à des questions sur des notions du texte avant la lecture. L'autre disposait de plus de temps de lecture. Au test final, le premier groupe a mieux retenu, dans les cinq expériences. Les analyses ne portaient que sur les notions ratées au pré-test.

Dans la deuxième expérience, le rappel atteint 71 % pour les notions pré-testées, contre 54 % pour les mêmes notions simplement mises en évidence dans le groupe qui avait lu plus longtemps. L'écart correspond à une taille d'effet de 0,61 (Richland et al., 2009).

Deux conséquences pour vos dix minutes. La première : une tentative ratée, suivie de la réponse, vaut mieux qu'une lecture supplémentaire. La seconde : si vous donnez le corrigé, vous ajoutez un effet d'apprentissage au simple relevé. Si vous ne le donnez pas, vous laissez le groupe avec ses erreurs.

Ce que les participants savent déjà pèse lourd

Taru Hailikari et deux collègues de l'université d'Helsinki ont suivi 115 étudiants en pharmacie sur plusieurs cours. Ils ont mesuré leurs connaissances préalables avant chaque enseignement, puis les ont comparées aux résultats obtenus. Les connaissances issues des cours précédents influençaient significativement la réussite. La connaissance procédurale, c'est-à-dire le fait de savoir faire et non seulement de savoir nommer, était particulièrement liée aux résultats (Hailikari et al., 2008).

L'étude porte sur un cursus universitaire, pas sur une formation continue. Le mécanisme, lui, se transpose sans peine. Un adulte qui arrive avec quinze ans de pratique n'est pas une page blanche. Il a des habitudes, parfois fausses, souvent efficaces ailleurs.

Cela déplace le contenu du diagnostic. Tester du vocabulaire distingue mal les niveaux : tout le monde connaît les mots. Tester un geste professionnel, sur un cas court, sépare mieux. Demandez de rédiger une question d'entretien, de trier trois situations, de repérer l'erreur dans un document. La production montre ce que la définition cache.

Le format concret des dix minutes

Voici un déroulé qui tient dans une ouverture de session.

Minutes 1 à 3. Six questions au maximum, sur papier ou par un lien court. Trois portent sur un prérequis indispensable, trois sur une erreur fréquente. Une seule peut demander une production de deux lignes.

Minutes 3 à 6. Vous triez les copies par type de réponse, pas par note. Trois tas suffisent : juste, erreur de type A, erreur de type B. Le tri se fait debout, sans calcul.

Minutes 6 à 9. Vous annoncez les deux erreurs les plus fréquentes, sans nommer personne, et vous montrez à quoi ressemble une réponse correcte. Le groupe voit alors le critère, et pas seulement la correction.

Minute 10. Vous dites ce qui change dans le programme : quel module est raccourci, quel exercice est ajouté, quel point est revu ce matin.

Ce déroulé reprend deux principes formalisés par Barak Rosenshine en 2012 dans American Educator. D'abord commencer par une courte révision de ce qui précède. Ensuite poser beaucoup de questions en vérifiant les réponses de tous. La révision active la mémoire ; les questions rendent visibles les écarts.

Un exemple d'item, pour un module de tableur. « Vous devez copier une formule de B2 en B10 sans que la référence à la cellule F1 change. Que faites-vous ? » La bonne réponse est le signe dollar dans la référence. La mauvaise réponse attendue dit si l'erreur vient de la recopie ou d'une confusion sur les références relatives.

Un autre, en hygiène alimentaire. « Un plat chaud est descendu à 45 °C pendant le service. Que faites-vous ? » La réponse révèle si le seuil est connu comme un chiffre ou comme une règle d'action.

Trois erreurs qui reviennent

La première est de poser vingt questions. Dix minutes deviennent trente, le diagnostic prend la place de la séance, et le groupe comprend qu'il passe un examen. Six questions suffisent pour trois décisions.

La deuxième est de noter. Dès qu'une note tombe, l'adulte en formation cherche à réussir l'évaluation plutôt qu'à montrer ce qu'il ignore. Or c'est précisément ce qu'il ignore qui vous intéresse. Sadler décrit ces relevés qui ne servent à rien comme des données restées en suspens : le circuit ne se ferme pas, et le diagnostic devient une formalité.

La troisième est de corriger individuellement à voix haute. Nommer les erreurs de trois personnes devant le groupe produit l'effet inverse : les suivants se taisent. L'annonce par fréquence protège les personnes et informe tout le monde.

Ce que la recherche ajoute sur l'usage

Sadler pose trois conditions pour qu'une information devienne une rétroaction. L'apprenant doit avoir un concept du standard visé, pouvoir comparer sa production à ce standard, et disposer d'une action pour réduire l'écart. Ces trois conditions doivent être remplies ensemble, et non l'une après l'autre (Sadler, 1989).

Un diagnostic qui se termine par un score ne remplit, au mieux, que la première condition, et partiellement. Il ne montre ni le standard, ni l'action à mener. Un diagnostic qui montre une réponse correcte, nomme l'écart et indique l'exercice à refaire remplit les trois.

C'est pourquoi la minute 10 compte autant que les neuf autres. Le programme annoncé publiquement est la preuve que le relevé sert à quelque chose.

Ce que CourseAlpha fait dans ce cadre

CourseAlpha produit un support de cours structuré et des exercices à partir d'un objectif, d'un public et d'un plan de séance. Le formateur y trouve la matière du diagnostic : les prérequis listés dans le plan, les exercices du module, et une version courte des questions.

L'outil ne choisit pas les six questions à votre place. Ce choix dépend de ce que vous avez observé la dernière fois, du secteur et du niveau réel du groupe. Un diagnostic utile reste un travail d'observation, pas de génération.

Ce qu'il faut retenir

  • Un diagnostic sert à trois décisions : ce qu'on saute, ce qu'on reprend, quelle erreur traiter d'abord.
  • Le triangle du National Research Council impose de relier le modèle de l'apprenant, la tâche et l'interprétation (2001).
  • Un pré-test améliore la rétention même quand les réponses initiales sont fausses : 71 % contre 54 % dans l'expérience 2 de Richland et al. (2009).
  • Les connaissances antérieures, surtout procédurales, pèsent sur la réussite : 115 étudiants suivis (Hailikari et al., 2008).
  • Une information ne devient une rétroaction que si elle sert à réduire l'écart (Sadler, 1989).
  • Six questions, trois tas, une annonce publique de ce qui change : dix minutes suffisent.

Références

← Retour au blog

­