Dispose-t-on enfin d'une méthodologie infaillible pour identifier les pratiques éducatives qui marchent le mieux ? C'est la question que l'on peut se poser devant le succès planétaire de l'ouvrage de John Hattie, "Visible Learning", initialement publié en 2008. Pour certains commentateurs, le chercheur néo-zélandais a même trouvé rien moins que le "saint Graal" de la recherche en éducation ! Comment ? En proposant une démarche de mesure systématique des effets des actions pédagogiques sur la réussite scolaire qui permet de déterminer quelles sont les bonnes pratiques en éducation.
Des méta-analyses pour une masse critique de données
Pour ce faire, Hattie a repris la méthode des méta-analyses, bien connue en médecine, qui consiste à synthétiser plusieurs recherches empiriques, d'un même standard de qualité et portant sur les mêmes objets. L'idée est simple : si la plupart des études indiquent un effet positif ou négatif du processus étudié, on peut en tirer une conclusion scientifique probante. Sinon, l'effet est jugé non-significatif. Hattie a perfectionné le dispositif, en proposant de rassembler un grand nombre de méta-analyses dans une sorte de méga-analyse en éducation.
C'est ainsi qu'ont été mobilisées environ 800 méta-analyses, représentant plus de 50.000 études particulières et portant par conséquent sur des centaines de milliers d'élèves et d'enseignants !
Il a ensuite calculé un seuil (0,4) correspondant à la taille d'effet moyenne d'une intervention ou d'une pratique éducative. Au-delà de ce seuil, la contribution d'une intervention éducative est significative et mérite d'être examinée. En dessous, elle ne sert pas à grand-chose, voire peut être contre-productive. Hattie a enfin construit un baromètre positionnant chaque intervention éducative au regard de ce 0,4 fatidique, ce qui lui a également permis de classer l'ensemble des pratiques des moins performantes aux plus efficaces.
Les pratiques ayant les effets les plus positifs sont celles qui permettent aux professeurs de voir leur enseignement avec les yeux des élèves... et réciproquement.
Regarder l'enseignement avec les yeux de l'élève
La conclusion générale de John Hattie peut être résumée par l'idée que les pratiques qui ont les effets les plus positifs sont celles qui permettent aux professeurs de voir leur enseignement avec les yeux des élèves... et réciproquement. Pour illustrer cette théorie, l'auteur utilise de façon significative le symbole de l'œil.
Le modèle de la pratique éducative qu'il promeut réserve une place éminente à l'enseignant, démiurge omniprésent dans sa classe. Plutôt que de se focaliser sur les mesures de résultat des élèves, il préconise aussi de centrer l'attention sur les progressions dans l'apprentissage et de développer le feedback vers les élèves.
Cette orientation est congruente avec une grande part des recherches actuelles qui insistent par exemple sur l'importance de l'explicitation de l'enseignement. Elle met au centre de l'efficacité éducative l'action quotidienne des professeurs. A contrario, nombre de politiques publiques qui interviennent sur les structures éducatives sont jugées au mieux sans effet selon les résultats présentés dans "Visible Learning". Dur pour ceux qui pensaient que l'autonomie des établissements, le libre choix de l'école ou une certification plus exigeante des enseignants feraient la différence !
Quand la théorie sur les méthodes pédagogiques nous éloigne des pratiques
Comme beaucoup d'autres, il nous est arrivé de faire référence à John Hattie au détour de tel ou tel article. La masse de données empiriques sur laquelle reposent ses conclusions leur donne une crédibilité et une légitimation scientifique sans égal. Pourtant, c'est quand un travail apparaît aussi séduisant qu'il faut exercer une vigilance particulière, même si l'on sait combien il est confortable d'acquiescer aux travaux qui rejoignent ses propres convictions.
Or, en exerçant cette vigilance, nous avons été pour le moins étonnés de certains cheminements de John Hattie.
Nous avons en premier lieu repéré des problèmes liés aux méthodes utilisées, notamment le recours systématique à la moyenne comme instrument de mesure pour comparer des méta-analyses qui ne traitent pas des mêmes objets ou des confusions entre relations de corrélation et relations de causalité. Les lecteurs intéressés pourront se référer à un article plus détaillé (paru sur le carnet Eduveille) relatif à ces interrogations statistiques complexes, qui posent des questions dérangeantes sur la validité de certains résultats présentés.
Ces questions nous ont amenés en second lieu à nous interroger sur les principes mêmes qui sous-tendent l'entreprise Visible Learning.
La réalité des pratiques, leur précision et leur spécificité, se seront estompées en chiffres et variables tellement globaux qu'ils rendent compte d'autre chose que de la réalité des pratiques qu'ils étaient censés résumer.
Une critique classique des méta-analyses consiste à leur reprocher de renvoyer à des réalités différentes, ou, comme le disent les anglophones, de mélanger apples and oranges. Ce qui est moins souvent souligné, c'est le glissement qui peut se produire quand on passe d'un niveau d'analyse à un autre.
On sélectionne par exemple des recherches qui calculent les effets d'une forme de travail en groupe des élèves, qu'on regroupe avec d'autres recherches sur une autre forme de travail collectif, pour en faire une méta-analyse sur le travail collaboratif. Puis on récupère ces méta-analyses déjà grossières qu'on amalgame avec d'autres pour mettre en catégorie une pratique qui sera caractérisée comme "méthode d'enseignement".
Entre-temps, la réalité des pratiques, leur précision et leur spécificité, se seront estompées en chiffres et variables tellement globaux qu'ils rendent compte d'autre chose que de la réalité des pratiques qu'ils étaient censés résumer. C'est ce que l'on constate souvent à la lecture de Visible Learning et de ses nombreux dérivés (déclinaison dans d'autres ouvrages, dans des brochures, des sites web, des documents de vulgarisation, etc.).
Autrement dit, dans ce processus de distillation progressive que réalise la méta-analyse, la granularité de l'information devient tellement grossière qu'à la fin elle en est inexploitable, sauf à formuler des considérations générales telles que "les enseignants doivent être passionnés par l'apprentissage de leurs élèves".
