L’évaluation des services publics, y compris de l’enseignement, est sur toutes les lèvres. Pourquoi passer au crible les innovations pédagogiques ?
Notre philosophie est d’évaluer pour améliorer. Il ne s’agit aucunement de jauger l’efficacité d’un enseignant mais d’estimer l’efficacité d’une innovation pédagogique au regard des objectifs d’apprentissage, d’insertion professionnelle et d’employabilité des étudiants.
Dans cette perspective, nous proposons aux enseignants-chercheurs qui se sont portés volontaires sur les projets d’innovations, notamment numériques ou hybrides, de coconstruire un protocole d’évaluation. Nous intervenons par exemple dans l’accompagnement d’enseignants qui souhaitent mettre en place des hackathons ou des challenges numériques.
Souvent, ils sont curieux de savoir si ces initiatives agissent positivement sur leurs étudiants, notamment en termes de développement de compétences et donc d’employabilité. Nos protocoles mesurent les effets de ces innovations.
Sur quelle méthode vous appuyez-vous ?
Nous utilisons notamment le modèle Kirkpatrick, qui consiste à mesurer les effets d’une innovation pédagogique sur quatre niveaux : la satisfaction des étudiants ; leurs connaissances et compétences ; leurs comportements dans une situation d’apprentissage authentique et enfin leur efficacité en l’entreprise, lors d’un stage.
Nous nous demandons si un étudiant ayant bénéficié d’une innovation pédagogique sera plus rapidement intégré et performant en situations de travail réel qu’un étudiant qui n’en aura pas bénéficié.
Nous nous demandons si un étudiant ayant bénéficié d’une innovation pédagogique sera plus rapidement intégré et performant en situations de travail réel qu’un étudiant qui n’en aura pas bénéficié. Ce que nous proposons, c’est la mise en place d’un groupe témoin et d’un groupe test.
Enfin, nous encourageons aussi l’utilisation de référentiels de compétences pour que les étudiants s’auto-évaluent, par exemple “apprendre à apprendre” ou encore “capacité à prendre une décision en situation de risque”, ou bien “capacité à travailler en groupe dans un environnement multiculturel”... Ensuite, les enseignants doivent définir des paliers de performance pour que les étudiants construisent une trajectoire de progression.
Quels sont les premiers indicateurs de pertinence ?
Il y a bien sûr les notes, ainsi que le taux de motivation et de participation des étudiants, sur la base de réponses à des questionnaires. On peut également utiliser des variables proxy, qui rendent compte de la persévérance des étudiants.
Les exercices en ligne permettent de comptabiliser le nombre d’activités effectuées par les étudiants, ainsi que le temps dédié à chaque document ou encore le taux de réponse aux questions d’un module.
Quelles sont les raisons qui poussent un enseignant à évaluer son enseignement ?
Les enseignants en recherche d’innovations souhaitent souvent obtenir des retours sur la pertinence de leurs pratiques. Certains font face à des problèmes d’assiduité ou ne comprennent pas le manque de concentration des étudiants... Ils expérimentent alors de nouvelles pratiques pédagogiques.
C’est parce que chacun peut avoir une motivation différente que nous coconstruisons un protocole d’évaluation avec chaque enseignant.
C’est parce que chacun peut avoir une motivation différente que nous coconstruisons un protocole d’évaluation avec chaque enseignant. C’est aussi pour cela que nous n’imposons pas de critère.
L’évaluation est souvent perçue comme subjective. Comment l’objectiver ?
A mon sens, il n’y a pas une seule manière objective d’évaluer un enseignement. Le parti pris de notre équipe d’ingénieurs pédagogiques et numériques est justement de multiplier les évaluations subjectives pour rendre compte des différents points de vue des parties prenantes.
Il y a ceux des étudiants, des enseignants, des ingénieurs pédagogiques, des responsables de formation mais également celui des entreprises qui accueillent les étudiants en stage ou en premier emploi. C’est pour cela que nous proposons différents protocoles d’évaluation.
Quel rôle l'étudiant joue-t-il dans le processus d’innovation pédagogique ?
Tout dépend du modèle d’évaluation coconstruit avec l’enseignant mais il peut se trouver véritablement au cœur du dispositif. C’est le cas lorsque les étudiants s’autoévaluent sur la base de référentiels de compétences. Sur la méthode, la chose à ne pas faire, c’est de demander l’avis de l’étudiant à la fin d’un semestre.
Quand un point d’étape est fait à mi-semestre par l’enseignant, cela lui permet des réajustements en cours d’année dont les étudiants peuvent constater les effets.
Cette façon de faire est vécue comme une demande de retour sur expérience qui restera sans suite. Quand un point d’étape est fait à mi-semestre par l’enseignant, cela lui permet des réajustements en cours d’année dont les étudiants peuvent constater les effets. A ce titre, l’évaluation agit comme un vecteur de communication entre enseignants et étudiants.
Quid de l’évaluation permanente et de l’adaptation immédiate qui en découle ?
Cela dépend vraiment des enseignants. Certains ont intégré cette notion dans leur pédagogie. Pour d’autres, ce n’est pas leur culture… et nous respectons leur choix.
Derrière le mot "évaluation", on entend parfois "surveillance"... Quelles dispositions mettre en place pour faire tomber cette barrière ?
Nous essayons d’avoir une approche formative de l’évaluation. Notre vision n’est pas verticale et descendante. Elle procède d’une démarche d’amélioration continue sur la base du volontariat.
Avant même le démarrage de l’expérimentation, nous essayons de bien distinguer l’évaluation des apprentissages (le savoir, le savoir-faire et le savoir-être), l’évaluation des enseignements (les pratiques pédagogiques et le contenu du cours), et l’évaluation des dispositifs de formation, comme l’articulation entre enseignement numérique et présentiel.
Parce qu’ils s’adaptent chaque année à une promo différente, à des étudiants qui sont tous des cas particuliers, les enseignants-chercheurs font-ils de l’innovation pédagogique sans le savoir ?
Oui, effectivement, parce qu’ils font face à une hétérogénéité d’étudiants en termes d’origines socio-économiques ou culturelles. C’est pourquoi nous proposons également aux enseignants qui le souhaitent de coconstruire leur modèle d’évaluation avec les étudiants, ce qui peut leur permettre de mieux appréhender leurs aspirations tout en ayant un retour utile sur leurs pratiques pédagogiques.
A l’heure de l’intelligence artificielle et du machine learning, quel recul a-t-on sur ces interactions homme-machine ?
Il y a clairement une attente sur la personnalisation des parcours et nous essayons de la mettre en œuvre. Il existe aujourd’hui des outils plus ou moins performants, des “learning management systems”, qui permettent d'une certaine manière d’orienter les étudiants vers des parcours différenciés.
Comment faire le tri entre engouement ponctuel et idée porteuse et pérenne ?
C’est une question très complexe. Une innovation pédagogique liée au numérique est toujours à remettre dans son contexte, ici, par rapport au site Université Clermont-Auvergne, aux antennes régionales, aux écoles et laboratoires associés. Même si une innovation pédagogique est difficilement réplicable d’un endroit à l’autre, cela nous donne une information sur ce contexte.
Si l’innovation pédagogique mise en place ne rencontre pas le succès escompté, l’expérimentation donne une information importante sur cet environnement. À notre avis, tous les cas d’innovations pédagogiques, même ceux que la littérature scientifique consacre, ne peuvent être répliqués sans que l’on ne tienne compte des spécificités "locales".
