Comment adapter les évaluations dans le supérieur pour déjouer ChatGPT ?

Agnès Millet Publié le
Comment adapter les évaluations dans le supérieur pour déjouer ChatGPT ?
Chat GPT // ©  PaeGAG/Adobe stock
Depuis fin 2022, la démocratisation massive de ChatGPT, agent conversationnel basé sur l'intelligence artificielle, a bousculé les usages des étudiants du supérieur et ceux de leurs enseignants. Comment repenser l'évaluation pour éviter des abus ?

La première alerte ne s'est pas fait attendre. Début février, des étudiants de l'université de Strasbourg, pris la main dans le sac, devaient repasser un examen après avoir utilisé ChatGPT sans le mentionner. À la même période, Sciences po Paris communiquait son ambition d'interdire l'utilisation de ChatGPT – en réalité, l'établissement interdisait son usage dissimulé, c'est-à-dire non mentionné.

La grande force de cet agent d'intelligence artificielle (IA), c'est le travail sur le texte : produire du rédactionnel convaincant (mais pas toujours juste), traduire, synthétiser ou développer une idée. Nourri par de larges bases de données, il a réponse à tout, ou presque. Une précieuse ressource pour un étudiant.

Comment repenser l'évaluation des enseignements dans le supérieur ? L'interrogation émerge une nouvelle fois : en d'autres temps, l'irruption de la calculatrice ou de Wikipédia avait déjà bousculé les habitudes.

Adapter les modalités d'évaluation face à ChatGPT

Ce sont les devoirs réalisés hors de l'établissement et/ou avec accès à internet qui posent le plus de questions. "On peut cependant reconnaître le style de l'IA, car les réponses sont assez formatées", observe Thomas Desserrey, ingénieur pédagogique au Lab UA de l'université d'Angers.

Pour Alain Goudey, directeur général adjoint en charge du numérique à Neoma BS, l'enseignant "doit prendre de la distance par rapport à son cours et à son évaluation". Il recommande d'abord aux enseignants d'explorer l'outil. "Et si l'IA réussit l'examen, changez-le". Il préconise plusieurs adaptations. Tout d'abord, préférer plusieurs évaluations aux modalités différentes plutôt qu'un seul examen majeur.

On peut travailler des cas très spécifiques ou postérieurs à 2021 - deux champs où l'IA est peu fiable - en géographie, en droit et économie ou en sciences politiques. Les exercices intégrant des consignes articulant des logiques complexes plutôt que de la mémorisation sont à privilégier.

Le mode de restitution est aussi un allié : faire rédiger les devoirs à la main représente une première réponse, mais peu satisfaisante sur le fond. En revanche, en demandant un rendu sous forme de carte ou de visuel, l'enseignant s'assure d'une certaine appropriation des savoirs.

Lorsque ces modifications ne sont pas possibles, des solutions techniques pallient aussi ce problème. "Pour un de nos enseignants, nous avons bloqué la fonction de copier-coller de son QCM sur Moodle vers ChatGPT", illustre Thomas Desserrey. "Pour des exercices rédigés, nous suggérons aux enseignants de générer plusieurs réponses dans ChatGPT et de les intégrer au logiciel anti-plagiat Compilatio pour les détecter dans les copies des étudiants, ajoute-t-il. Nous sommes pour l'instant dans la parade".

Evoluer vers une évaluation axée sur les compétences

Somme toute, ce moment est l'occasion d’accélérer une réflexion plus générale : que veut-on évaluer? Il est certain que les étudiants doivent continuer à apprendre et à mémoriser mais doivent-ils être notés sur ce "stock" de savoirs ?

"Il faut se référer à la taxonomie de Bloom qui énonce les différents niveaux de complexité dans l'évaluation. Le plus simple est d'évaluer la mémorisation des connaissances, puis la compréhension et l'application. Plus complexes sont les évaluations qui passent par l'analyse, l'évaluation et la synthèse voire la création", rappelle Alexis Hay, également ingénieur pédagogique du Lab UA.

"L'enjeu est de changer de paradigme. Ce qui compte aujourd'hui, c'est de former à la coopération et à la créativité", précise Dominique Boullier, sociologue et linguiste et professeur des universités en sociologie à Sciences po. Bref, de passer à une évaluation axée davantage sur les compétences. Ainsi, une présentation orale mobilise des compétences comme la prise de parole, la capacité de convaincre et celle de s'approprier un sujet pour répondre à des questions. Mais cette solution semble difficile à mettre en place lorsque le cours s'adresse à un amphi de 300 étudiants.

À Angers, l'université œuvre à la mise en place de l'approche par compétences. "Ce travail apporte des évolutions qui répondent, en partie, aux défis de l'IA. Nous commençons à évaluer via des travaux de groupe, des mises en situation proches du milieu professionnel, des exercices d'évaluation par les pairs ou d'auto-réflexivité", précise Alexis Hay.

Évaluer par le travail de groupe, l'analyse et la restitution personnelle

Revus en profondeur, les examens peuvent faire appel à l'analyse et à l'esprit critique. En fin de cours, placer l'étudiant dans une posture de "réviseur" des réponses de l'IA est l'un des moyens. Pour pointer les limites et les manques de l'outil, les étudiants devront maîtriser ces acquis.

Pour l'auto-réflexivité, l'étudiant est appelé à commenter son expérience de stage ou ses apprentissages, au fil du semestre. Ainsi, pour un devoir ou un mémoire, on peut chercher à faire réfléchir les étudiants sur leur processus et non sur le résultat lui-même, en leur demandant pourquoi la deuxième version de leur document a varié par rapport à la première version.

Multiplier les angles est une autre idée. "En informatique, on veut souvent évaluer la capacité d'optimisation. Or, il existe plusieurs formules d'optimisation. On peut donc demander plusieurs résultats, assortis d'une argumentation sur les critères retenus. J'appelle cela l'éducation au pluralisme", commente Dominique Boullier.

En phase avec les enjeux actuels, "il faut évaluer la capacité à établir des liens, notamment transdisciplinaires. C'est une priorité de notre responsabilité éducative. Car pour traiter les questions de transitions et d'environnement, les élèves doivent entrer dans cette compréhension de la complexité et savoir naviguer entre les tenants et aboutissants", ajoute-t-il.

In fine, il s'agit de demander un point de vue, qui peut faire appel au vécu de l'étudiant. "Lorsque je demande une fiche de lecture, la note est équilibrée sur trois tiers. Je leur demande un résumé et leur point de vue. Ensuite, je leur demande de raconter une expérience personnelle qui a un rapport avec l'objet étudié et d'expliquer en quoi celui-ci leur permet de mieux comprendre cette expérience", indique ainsi Dominique Boullier.

Informer les étudiants sur l'usage autorisé de ChatGPT

L'irruption de la technologie, massive et rapide, oblige à une réaction et une adaptation quasi immédiates alors même que le temps manque pour revoir tous les modes d'examens et, plus encore, les scénarii pédagogiques et la structure des cours. Pour le moment, les établissements avancent au cas par cas. Chacun expérimente, un peu à tâtons, différentes solutions. À Angers, la question est venue du vice-président étudiant : des groupes de travail ont été mis en place.

L'interdiction de l'outil semble irréalisable et peu souhaitable, d'autant que les étudiants, une fois diplômés, utiliseront l'IA dans leur vie professionnelle. Enseignants et élèves doivent donc être formés à l'outil, qui peut être une ressource utile.

Les étudiants doivent être informés de ce qui est autorisé dans le cadre de leurs études. Dans les établissements, un certain consensus se dégage sur l'autorisation de l'outil, à la condition que celle-ci soit affichée.

Nous n'en sommes qu'au début de la bascule induite par cette nouvelle technologie. Non seulement celle-ci se perfectionnera, mais d'autres usages naîtront. Et d'autres défis surgiront.

Agnès Millet | Publié le