Newsletter

À l’heure de l’évaluation 3.0

Morgane Taquet
Publié le
Envoyer cet article à un ami
Université catholique de Lille - Adicode Vauban
L'université catholique de Lille expérimente le devoir sans fin, réalisé en équipe et amendable. Une inconnue : les étudiants ne savent pas quand intervient la notation. // ©  Sophie Blitman

Si le numérique contribue à renouveler les méthodes pédagogiques, l'évaluation connaît elle aussi une évolution. En témoignent ces quelques établissements pionniers qui insufflent l'innovation jusqu'à la notation.

"Les modalités d'évaluation doivent évoluer pour mieux reconnaître le travail collaboratif, les compétences de recherche, d'analyse et de synthèse de l'information." La Stranes (Stratégie nationale de l'enseignement supérieur), remis au président de la République début septembre 2015 fixe le cap.

Aux États-Unis, de nombreuses start-up américaines développent déjà des logiciels d'évaluation des étudiants. En France, si l'État a le monopole des grades et des titres universitaires, les modalités de contrôle des connaissances sont votées en conseil d'administration et diffèrent selon les universités.

Un boulevard pour évaluer autrement ? C'est dans le cadre du contrôle continu, qui laisse la place à une évaluation formative, que les universités semblent le plus promptes à innover pour le moment.

Pour Jean-Charles Cailliez, vice-président de l'université catholique de Lille chargé de l'innovation et du développement, c'est une évidence : sans évaluation rénovée pas de pédagogie innovante.

"L'évaluation est le vrai angle d'attaque intéressant pour innover dans sa pédagogie. Il est très difficile de faire autrement. Sans évaluation adaptée, quand l'examen arrive, les étudiants vont par habitude se remettre dans le cadre 'classique' du cours", déplore-t-il.

VERS DES qcm "AUGMENTÉS"

Peu innovant sur la forme, le QCM se transforme avec le numérique. Il est sans doute aujourd'hui le mode d'évaluation informatisé le plus utilisé. À l'Iéseg, Loïc Plé, responsable du CETI (Center for Educational and Technological Innovation), propose en première année à un groupe de 25 étudiants un QCM en ligne pour un cours d'introduction à l'entreprise en classe inversée.

Dans le cadre du contrôle continu, les questions sont projetées, et les étudiants répondent, sur leur tablette ou sur un ordinateur, en remplissant un document Google
afin de vérifier que le cours a été vu en amont.

Outil pratique pour évaluer les connaissances à un instant T, le QCM est-il utilisable dans l'évaluation diplômante ? À l'Ieseg, la réponse est oui. Dans la classe inversée de Loïc Plé, un volet d'une dizaine de QCM compte pour 40% de la note finale, 40% étant réservés à l'analyse d'une entreprise dans laquelle ils doivent se rendre et 20% pour la participation.

Mais l'outil a aussi ses travers. Dans cette classe inversée de l'Iéseg, les enseignants ont dû faire face à un cas de triche organisée : les étudiants s'étaient réparti l'apprentissage du chapitre et partageaient les réponses pendant l'évaluation en présentiel. Si le numérique impose une plus grande autonomie de l'apprenant, il ne dispense pas de la mise en place d'un certain contrôle pour éviter la triche, selon Loïc Plé.

L'évaluation est le vrai angle d'attaque intéressant pour innover dans sa pédagogie.
(J-C Cailliez)

Sécuriser les ordinateurs

C'est l'objet de la start-up TestWe, lancée en septembre 2015 par deux étudiants parisiens Clément Régnier et Charles Zhu. Ils proposent deux solutions logicielles : une plateforme à destination des enseignants et une à destination des étudiants.

Les enseignants rédigent eux-mêmes leur modèle d'évaluation (QCM, QRC, soit questions à réponses courtes) et peuvent intégrer des supports vidéos ou des photos. Le logiciel pour les étudiants doit être téléchargé sur une tablette ou un ordinateur. Quand les étudiants sont soumis à l'évaluation "sécurisée", ils n'ont pas d'accès à d'autres documents ni à une page web, et les raccourcis clavier sont neutralisés, tout comme les ports USB.

"L'idée est que l'étudiant n'ait accès qu'à sa copie, ou qu'à ce qui est autorisé par l'enseignant", explique Clément Régnier. Une solution qui permet de tester ses étudiants à distance, mais aussi "de diminuer le nombre de surveillants, de récupérer les résultats instantanément, et d'éviter la triche en proposant des questions en mode aléatoire", précise Clément Régnier. Parmi les premiers clients : l'Essca Shanghai, qui l'utilise pour son évaluation finale, PSB (Paris school of business, ex-ESG MS), et Skema.

évALUer AU FIL DE L'EAU avec les boîtiers

Autre outil de l'évaluation formative : les boîtiers électroniques. Stéphanie Roussel, maître de conférences en études germaniques à l'université de Bordeaux, les utilise dans son cours de droit allemand. Dans son cours magistral réunissant une vingtaine d'étudiants pendant 1 h 30, des questions de QCM ont été intégrées dans le power point habituellement projeté pendant le cours. "L'objectif est de voir en cours de route ce qu'ils ont compris et ce qu'ils n'ont pas compris, en leur posant à la fois des questions de vérification et des questions d'anticipation pour maintenir leur attention."

"Je vois plus cette évaluation comme un contrôle de la compréhension à un instant T. Ce qui ne signifie pas qu'il y a acquisition", prévient la maître de conférences. L'utilisation du boîtier a d'ailleurs ses limites : l'enseignant ne peut s'appuyer que sur des questions de QCM.

Hugo Carrey, étudiant en L2 de droit assistant au cours de Stéphanie Roussel, est cependant séduit : "le cours m'a semblé mieux intégré au moment où j'ai commencé mes révisions de fin de semestre. Et durant l'examen final, j'ai eu des flash-back des diapositives projetées", explique l'étudiant qui a réussi haut la main son examen final.

L'UPMC a été la première université à utiliser les boîtiers interactifs en amphi

Remplacer la note par un score

Pour adapter l'évaluation à sa classe "renversée" (les étudiants doivent eux-mêmes construire le cours sur le fond comme sur la forme), Jean-Charles Cailliez a, lui, choisi de remplacer les notes par des scores. Les notes sont ainsi transformées en capital de points, pour lesquels il n'existe pas de plafond maximum.

"À chaque cours, c'est comme s'ils remettaient les compteurs à zéro, comme dans les niveaux des jeux vidéo. Cela fonctionne comme une monnaie." À la fin du semestre, l'enseignant projette les moyennes sur un nuage de points pour aider les étudiants à se repérer. "S'il me le demande, un étudiant peut connaître la moyenne globale à un instant T afin de se situer au cours du semestre", explique-t-il.

Autre expérimentation à l'université catholique de Lille : le devoir sans fin. Les étudiants travaillent par équipe sur une question posée. Ils ont la possibilité de revenir sur leur copie et d'y faire des ajouts, d'enrichir leur devoir une fois rentrés chez eux. Seule inconnue : les étudiants ne savent pas quand intervient la notation, décidée par l'enseignant. 

Utiliser les learning analytics

Des pratiques motivantes, qui doivent se plier à un impératif, celui de la clarté. "Les étudiants doivent savoir sur quoi ils sont notés, et l'enseignant expliquer clairement sa démarche, pointe Alain Mille, professeur en informatique à Lyon 1 et chercheur au LIRIS (Laboratoire d'informatique en image et systèmes d'information) au CNRS. Attention à ne pas faire l'inverse de ce que nous cherchons, il s'agit bien de dispenser un enseignement de plus en plus adapté aux étudiants et non l'inverse !"

Une remarque d'autant plus importante dans l'évaluation du travail collaboratif. "Ce qui émerge à l'ère du numérique, ce sont les autres formes de l'évaluation, qu'elles soient individuelles, à travers l'auto-évaluation, ou collectives, avec la co-évaluation..." avance Bruno Devauchelle, enseignant à l'université de Poitiers dans une chronique sur le site du Café pédagogique.

La note est une photo de la connaissance acquise, l'analyse des données va donner une vision qui ressemble plus à un film.
(A. Mille)

L'analyse des "learning analytics", à savoir la collecte des données laissées par les étudiants sur tous les supports numériques de travail, devrait permettre à court terme de franchir un nouveau cap. "C'est tout l'intérêt du numérique de permettre d'organiser les traces, de les structurer et de les analyser", explique Bruno Duvauchelle. Les "learning analytics" permettent "de mesurer l'engagement de l'étudiant dans son apprentissage, et d'obtenir une connaissance plus fine des processus d'apprentissage pour les jurys d'examen", assure Alain Mille.

Attention, nuance-t-il, "la note est une photo de la connaissance acquise, l'analyse des données va donner une vision qui ressemble plus à un film. Mais nous restons dans la captation à un instant donné."

Si l'évaluation se réforme pour s'adapter aux pédagogies actives au-delà du simple aspect technique, est-elle un gage de meilleure réussite des étudiants ? Dans sa classe "renversée", Jean-Charles Cailliez remarque que ce système "déstabilise les bons élèves, et les plus scolaires qui ont besoin de se mesurer. Mais elle favorise ceux qui veulent travailler de manière collaborative". Mais in fine, "on retrouve les bons élèves en tête, et les moins bons réussissent mieux." Faire réussir le plus grand nombre, c'est bien l'objectif escompté.


Morgane Taquet | Publié le

Vos commentaires (2)

Nouveau commentaire
Annuler
* Informations obligatoires
André pierre.

Bonjour, De mes expériences, je pense sincèrement que la machine ne peut pas remplacer le contrôle humain. Si avec certitude, nous pouvons affirmer que la machine est très utile pour les taches conditionnantes, indispensables à une base commune, la machine par contre ne sait pas reconnaître le subtil qui est pourtant le principal qu'apporte l'entendement humain. Pour résumer nous pouvons dire la machine compare, et même qu'elle compare très vite. L'homme réfléchit, et la machine ne sait pas réfléchir donc contrôler l'entendement. J'ai essayé de pousser aux limites les effets comparateurs des machines en créant des vidéos interactives ultralégères (généré css) en langage multidirectionnel. Mais très vite nous sommes confronté aux limites de l'outil. Cordialement

Loïc Plé.

En complément à ce qu'indique l'article, je voulais préciser qques points qui n'ont pas pu être repris ici, sous peine de rentrer dans trop de détails. Le cours en question pour est dispensé à l'ensemble des étudiants de la 1ère année du Bachelor, sur nos deux campus, soit environ 750 étudiants, par une équipe de 10 enseignants. Il s'agit d'un cours en petite classes (de 16 à 25 étudiants maximum par classe, ce qui fait de 18 à 20 classes peu ou prou par semestre) dispensé en flipped learning depuis 8 ans. Nous avons eu, pour la première fois l'an dernier, un problème dans une classe où des étudiants ont profité de ce qu'une enseignante a oublié à plusieurs reprises sa "télécommande" powerpoint pour changer ses slides à distance. Ils ont alors commencé à se répartir le chapitre à plusieurs, et à s'envoyer les réponses par Facebook Messenger quand une question portait sur une partie de QCM. Ceci ne pouvait être décelé que si l'enseignante s'était déplacée dans la salle en montrant les questions - ce que faisaient les autres professeurs de la matière, mais qu'elle ne pouvait faire du fait de l'oubli de cette fameuse télécommande. Au final, ce phénomène de triche n'a donc concerné qu'une partie infime de la promotion. Mon témoignage, dans le cadre de l'article, visait effectivement à attirer l'attention sur le fait que si la triche a toujours existé sur papier, le numérique ne l'évite pas non plus, et nécessite tout comme les dispositifs d'examen sur papier un certain contrôle. Cette nécessité est d'ailleurs régulièrement mise en évidence : Coursera développe par exemple des systèmes pour vérifier que, selon la manière de taper sur son clavier, la personne qui passe l'examen en ligne est bien la même que celle qui a participé au MOOC. Même si cela n'empêche pas l'apparition de comportements "déviants", comme l'a révélée une étude parue fin août (relayée sur Educpros courant septembre) par des chercheurs du MIT et de Harvard (http://news.mit.edu/2015/cheating-moocs-0824).