Newsletter

Julien Grenet : "L'algorithme d'Admission postbac est manipulable"

Natacha Lefauconnier
Publié le
Envoyer cet article à un ami
PAYANT - Informatique algorithmes
Pour Julien Grenet, le problème de l'algorithme d'APB vient de la prise en compte du rang du vœu (absolu ou relatif) comme critère de priorité pour les licences en tension. // ©  plainpicture/STOCK4B-RF
Chercheur en économie au CNRS et à l’École d’économie de Paris, Julien Grenet étudie la place des algorithmes dans la régulation des inscriptions scolaires. Pour lui, les difficultés créées par les procédures d’affectation (Affelnet, Admission postbac) ne sont pas principalement imputables aux algorithmes.

Selon Julien Grenet, chercheur en économie, l'algorithme d'APB n'est pas adapté pour les licences sous tension.Le recours – décrié – à des algorithmes est-il la meilleure solution pour gérer les affectations des élèves ?

Même si tous les algorithmes ne se valent pas, certains ont de très bonnes propriétés. Dont celle de favoriser la transparence des critères d’affectation des élèves dans les collèges, lycées ou établissements du supérieur. Cela permet de lever le soupçon d’arbitraire dans la prise de décisions. Beaucoup de pays ont eu recours aux algorithmes pour cette raison, comme le Chili, où la corruption faussait les affectations. Quant aux règles de priorité (résultats scolaires, distance, fratrie, critères sociaux…), elles traduisent des choix politiques.

Autre propriété intéressante des algorithmes, celle d’inciter les élèves ou les parents à classer leurs vœux par ordre de préférence réelle. Cette incitation à la sincérité est une vertu qui encourage la mixité sociale. En effet, elle ne donne pas l’avantage à ceux ayant le plus d’informations, comme c’est le cas lorsqu’il faut recourir à des stratégies dans son classement. Au contraire, le candidat est amené à se poser la seule question qui importe : "Quelle est la formation la plus adaptée pour moi ?"

Enfin, ces algorithmes remplissent le critère d’efficacité. Autrement dit, selon la définition des économistes, la plus grande satisfaction possible pour tous, dans le respect des critères.

Le côté négatif des algorithmes est qu’ils s’inscrivent souvent dans des procédures assez opaques. Les candidats manquent d’informations sur le fonctionnement de l’algorithme et sur les critères de classement. Le cas d’APB en est l’illustration parfaite : il a fallu des actions en justice pour qu’il y ait plus de transparence. Mais la faute n’est pas imputable aux algorithmes, ce sont les procédures qui sont illisibles.

Qu’en est-il de l’algorithme d’APB ?

Mathématiquement, on ne peut pas satisfaire simultanément, dans toutes les situations, les trois critères d’équité (respect des priorités), d’efficacité (respect des préférences), et de non manipulabilité de l’algorithme.

Autrement dit, ils sont incompatibles ! Il faut donc recourir à des compromis. Beaucoup d’algorithmes satisfont deux critères et essaient de faire le mieux possible pour le troisième critère. C’est le cas de l’algorithme d’Admission postbac, qui est une version de l’algorithme d’acceptation différée de Gale et Shapley, avec quelques petites subtilités. Or, de petites modifications de l’algorithme tel qu’il a été conçu par les mathématiciens peuvent avoir de grandes conséquences.

En l’occurrence, l’algorithme d’APB est manipulable, pour une partie des formations. Précisément, le problème vient de la prise en compte du rang du vœu (absolu ou relatif) comme critère de priorité pour les licences en tension. Cela pénalise les candidats sincères qui mettent une CPGE ou autre formation sélective avant une licence en tension.

Pour que l’algorithme fonctionne bien, il ne faut pas que le classement d’un élève dépende de celui des autres. Or, c’est le cas, comme on le voit dans cet exemple.

Léa a intérêt à être stratégique et à ne pas mettre ses vœux dans son ordre de préférence réel, contrairement à ce qu’indique le Guide du candidat où figurent les mots "sans autocensure".

Cela illustre bien l’idée que les difficultés créées par les procédures d’affectation ne sont pas principalement imputables aux algorithmes mais plutôt, d’une part, à la complexité et à l’opacité des procédures, et d’autre part, aux critères de priorités utilisés… et aux choix politiques qui les sous-tendent.

Il faudrait donc revoir les critères de priorité utilisés dans APB, plutôt que le Code de l’éducation ?

Il a fallu traduire un code juridique en code informatique. Les critères de priorité sont une interprétation par les informaticiens d’APB du Code de l’éducation. Il fallait répondre à la question : "Quand il y a trop de demande, comment départage-t-on techniquement les étudiants ?"

APB n’existait pas lorsqu’a été rédigé l’article L612-3 du Code de l’éducation, sinon la notion assez vague de "préférences du candidat" aurait sans doute été formulée différemment.

Le fait de prendre en compte la façon dont les étudiants ont classé les vœux a des effets très mauvais sur l’algorithme, puisqu’il induit des stratégies pour les licences en tension. Et surtout, le code est incomplet : lorsque l’on a épuisé les critères de l’article L612-3, cela ne suffit pas, il reste des ex aequo. C’est pour cela qu’il a fallu ajouter un critère : le tirage au sort, qui n’est pas écrit dans le code. Avant APB, on utilisait un autre critère : premier arrivé, premier servi. Cela permettait de ne jamais avoir d’ex aequo.

Le fait de prendre en compte la façon dont les étudiants ont classé les vœux a des effets très mauvais sur l’algorithme, puisqu’il induit des stratégies pour les licences en tension.

Tant que le tirage au sort se faisait à la marge, cela passait. Mais là, il est devenu très prégnant, du fait du boom démographique. Le risque est que l’on se retourne contre l’algorithme, alors qu’on devrait se retourner contre le Code de l’éducation.

En réalité, ce n’est pas tant le droit qui pose problème que le symptôme de contradiction de l’enseignement supérieur, qui défend le principe de non-sélection, tout en instaurant des capacités limitées dans la plupart des filières universitaires. L’algorithme d’APB est très adapté aux filières sélectives, mais pose problème pour les filières non sélectives sous tension.

Il faudrait poser clairement les termes du débat : quand il y a trop de demandes en licence, qu’a-t-on le droit de prendre en compte comme critères ?

Quelles pistes proposez-vous ?

Il y a deux solutions possibles. Première option : faire en sorte que l’offre suive la demande, en augmentant le nombre de places dans les quatre principales filières en tension (droit, Paces, psychologie et Staps), entre autres.

Mais est-ce que cela se justifie, compte tenu des débouchés ? Quand on pense aux études de médecine ou de droit, on sait qu’il y a ensuite un processus de sélection, à la fin de la première année ou plus tard… Augmenter les effectifs à l’entrée signifie un taux d'échec plus élevé après.

Cela n’est pas neutre pour les étudiants qui échoueront en médecine ou en droit. Ils auront perdu un an. Certains arrêteront même leurs études et sortiront sans diplôme. En étant orientés vers des formations mieux adaptées à leur profil, ils auraient plus de chances de réussir. Ce qui se fait dans tous les pays, sauf en France.

Et la deuxième solution ?

Quand il y a trop de demande, la deuxième option est de prendre en compte l’adéquation entre formation et candidat. J’insiste sur le terme d’adéquation et non de résultats scolaires, car on ne prend pas forcément les meilleurs élèves. Il s’agit plutôt d’établir des coefficients en fonction des différentes matières étudiées par le candidat et de la filière d’enseignement supérieure qu'il vise. Ce n'est pas un classement général des candidats.

Les bacs techno et bacs pro sont adaptés aux STS et aux IUT : ils doivent être prioritaires. Parmi ceux qui n’obtiennent pas de place, certains abandonnent l’idée de poursuivre leurs études, alors que ceux ayant eu une place réussissent plutôt bien.

Le cas des bacs pro est particulièrement préoccupant : leur taux de réussite en licence est proche de zéro. Or, ceux qui se retrouvent en licence l’avaient rarement mis en premier choix. La plupart d'entre eux veulent obtenir un BTS ou un DUT. Mais il n’y a pas assez de places, et celles-ci sont prises par les bacs généraux.

Ces deux propositions sont assez complémentaires ?

En effet. L’option d’augmenter les capacités ne concerne pas que les licences, mais aussi les places en STS. D’autant que le nombre de bacheliers pro a augmenté de 80.000, c’est la plus grosse réforme éducative de ces trente dernières années. La proportion de bacheliers dans une génération a augmenté de 10 %, c’est phénoménal. Aujourd’hui, il y a 80.000 étudiants en plus qui peuvent accéder à l’enseignement supérieur, et pour autant, les places nécessaires n'ont pas été créées dans les formations adaptées.

On a 50 % d’une cohorte qui s’engage dans des études supérieures, ce n’est vraiment pas beaucoup, c’est la moyenne de l’OCDE. Il y a beaucoup de réorientations, d’échec en première année… Le point crucial est d’essayer de mieux orienter les bacheliers par les priorités, par l’information – et là l’outil APB est intéressant, car il peut fournir les taux de réussite en fonction de leur profil – et enfin d'augmenter les capacités d’accueil des formations sélectives plutôt à dominante technologique, comme les STS et les IUT. Elles offrent des taux d’encadrement très bons et une bonne insertion professionnelle.

Le système universitaire n'a pas été suffisamment adapté à la démocratisation de l’enseignement supérieur. Il continue de fonctionner comme au début du 20e siècle.

Le système universitaire n'a pas été suffisamment adapté à la démocratisation de l’enseignement supérieur. Il continue de fonctionner comme au début du 20e siècle, avec une première année où l'on doit déjà se spécialiser, avec un fort taux d’échec, des prérequis supposés acquis… Un des modèles intéressants à explorer est de diversifier la première année à l'université, comme c’est le cas dans beaucoup de classes préparatoires, ou les majors et minors aux États-Unis, par exemple.

Plusieurs participants à la journée Etalab ont été étonnés de découvrir que les données d’APB n’étaient pas conservées par le ministère jusqu’il y a peu… N’est-ce pas regrettable pour la recherche ?

C’est un crève-cœur pour les chercheurs en sciences sociales ! Nous avons été plusieurs à tirer la sonnette d’alarme. Ces données récoltées via APB ont été détruites car elles étaient considérées comme de simples données de gestion. Et aussi parce qu’elles contenaient des informations sensibles.

Lorsque la base de données a été déclarée à la CNIL en 2011, il a été convenu que les INE (identifiant national étudiant) ne seraient pas conservés plus d’un an ou deux, et les bases pas plus de cinq ans. À présent, il y a une prise de conscience de l’intérêt de ces données pour le ministère, pour fournir des informations aux étudiants, et pour la recherche. Il est question d’étendre cette durée de conservation des données à dix ans…

Le SIES (Systèmes d'information et des études statistiques) travaille sur un fichier de données anonymisées, à l'accès simplifié pour les chercheurs. La version v.0 est déjà en test. Les données sensibles pourraient, elles, être accessibles dans des conditions très sécurisées, sous convention, dans le cadre de recherches ciblées.

En attendant, on a définitivement perdu plusieurs millésimes d’APB : toutes les données antérieures à la session 2012. Il est regrettable de ne pas avoir conservé les données de 2009, moment charnière de mise en place nationale de la plate-forme. Il y a eu beaucoup de changements depuis l'instauration du portail.

En Île-de-France, par exemple, le fonctionnement était un peu différent, avec un système par secteurs géographiques et non par académies. Certaines universités parisiennes recrutaient dans la petite couronne, à Villejuif, à Ivry-sur-Seine, au Kremlin-Bicêtre… Les réseaux de transport guidaient les secteurs. Il aurait été intéressant de voir si ce changement a bouleversé le destin universitaire de ces étudiants ayant eu leur bac en dehors de Paris.

Cela fait des années que nous demandions à avoir accès aux données d’APB, et nous avons pendant très longtemps trouvé porte close. Là, il y a vraiment un mouvement d’ouverture, qui s’est enclenché avant même les actions de l’association Droits des lycéens pour la transparence de l’algorithme. La loi numérique a joué en faveur de cet élan, l’accès aux données pour les chercheurs sera facilité.

"APB, cas d'école des algorithmes publics" : journée de réflexion par Etalab
Mercredi 28 juin 2017, Etalab (mission mandatée en février 2017 par Thierry Mandon sur l’ouverture du code source d’APB) et la Fing (Fondation Internet nouvelle génération), avec le soutien d'EdFab, ont organisé une journée sur le thème "Admission postbac, cas d'école des algorithmes publics".

Après la présentation du portail APB par Bernard Koehret, son créateur, Julien Grenet a détaillé ses travaux de recherche sur la place des algorithmes dans la régulation des inscriptions scolaires. Chercheuse en géographie, Leïla Frouillou a résumé le sujet de sa thèse, en insistant sur le point de vue des utilisateurs d’APB en Île-de-France.

Plusieurs ateliers étaient organisés autour de la régulation des algorithmes, du code et de la loi ("code is law"), ou encore de la transparence des algorithmes pour les utilisateurs. La journée s'est clôturée par un rapport d'étonnement du sociologue Bilel Benbouzid (université Paris-Est Marne-la-Vallée) et d'Henri Verdier (directeur interministériel du numérique).

L’auditoire d'une cinquantaine de personnes se composait d’un tiers de chercheurs (économistes, sociologues, juristes…), d’un tiers d’agents des administrations de l’éducation nationale et aussi des ministères de l’Intérieur, de la Justice, de l’Économie… ainsi que d’un tiers d’entrepreneurs, d’associations, de syndicalistes et de journalistes.

Natacha Lefauconnier | Publié le

Vos commentaires (6)

Nouveau commentaire
Annuler
* Informations obligatoires
Christelle.

Bonjour Heureux d'avoir décrocher ce fameux sésame avec mention, force est de constater que nous sommes au début d'une longue histoire. APB est un problème plus qu'une solution, mon fils est second sur une liste d'attente qui n'a pas bougée depuis le 14 juillet les IUT ferment bientôt, qu'allons nous faire répondre positivement à un IUT à 800kms de chez nous alors qu'à 300kms l'un pouvait nous accueillir. Attendre, toujours attendre il faut aider nos jeunes à construire leur avenir et ce procédé informatique est plus une usine à gaz qu'une solution radicale aux orientations des étudiants. Bel été en perspective. Christelle

parentconcerné.

Article hors-sujet. Le sujet de la grogne concernant les errements d’APB/Affelnet est connu depuis longtemps. Les informaticiens ayant mis en œuvre une simple moyenne arithmétique pondérée ne sont pas en cause car nul besoin d’être chercheur au CNRS ou à la NASA, pour effectuer des calculs d’un enfant en sixième. On feint de nous faire croire que les informaticiens seraient remis en cause car des actions en justice ont exigé les algorithmes : or ce n'est pas pour les traitements ou processus, mais pour les variables, l'"orientation". Ce qui est en cause est la pondération, les bonus "critères sociaux mixité", les pôles regroupés de notes (1 note sport=1 note physique+chimie+biologie+mathématiques), le passage d'une échelle de 20 barreaux à une échelle à 4 barreaux seulement entrainant des collisions (nombre de mêmes moyennes pour plusieurs étudiants plus important) suivies inexorablement de tirages au sort. C'est un sacrifice d'une génération entière au nom d'une idéologie politique anachronique (les US en sont revenus de l'affirmative action) de quelques personnes seulement qui a engendré ce chaos national et déjà aux conséquences irrémédiables pour les premiers concernés.

Philippe Allain.

(suite) Exiger de donner le code source d'APB à la pâture du public, c'est mettre en doute l'honnêteté ou la capacité des informaticiens à coder ce qu'on leur demande d'implémenter. Certes, des bugs peuvent persister mais laissons ceux qui ont codé le programme les corriger eux-mêmes. Ils resteront les mieux placés pour ce travail. Pour tester un tel programme et détecter des bugs, pouvoir faire des dizaines de simulations avec des vrais jeux de données est indispensable. Un jeu de test créé à la main ne pourra jamais remplacer les millions de voeux réels des lycéens, avec des cas 'tordus' et (in)imaginables. La présence de bugs de programmation ne semble pas être la clé du problème pour le cas présent de toute façon. L'algorithme de base d'APB, si j'en crois différentes lectures, est simple et 'parfait'. Parfait dans le sens où il procure la plus grande satisfaction possible pour tous, comme écrit dans l'article. Sous certaines conditions cependant : il doit y avoir au moins autant de places globalement que de demandes, ce qui n'est pas le cas dans l'exemple de l'article, et l'ordre des voeux doit être sincère. Le fait de modifier même légèrement une des règles fondamentales de l'algorithme (comme utiliser dans certains cas le rang du vœu comme critère de priorité) le rend non applicable et le résultat est 'forcément' insatisfaisant. De même, le fait de manquer de places (pas la faute du candidat) ou le fait de ne pas utiliser l'ordre de préférence réel (action volontaire du candidat) rend l'algorithme non applicable. Il ne faut pas insinuer que les lycéens ont intérêt à être stratégiques mais plutôt insister sur le fait que c'est une erreur, une faute, d'avoir introduit cette règle dans l'algorithme. Pour contourner l'erreur de l'algorithme, Léa aurait dû inverser le rang de ses voeux. Or personne de devrait avoir à contourner quoi que ce soit (ni règle imposée, ni bug connu). On ne peut pas 'manipuler' un algorithme. Ça ne veut rien dire. On peut seulement, si on dispose de suffisamment d'informations et un but bien précis, lui fournir en entrée des données qui modifient le résultat final. On appelle cela détournement ou sabotage selon le but recherché. Toutefois, la chance d'obtenir pour soi, de cette façon, un résultat plus avantageux est toute relative! Étant moi-même informaticien, j'accepte mal que l'on sous-entende que le programme cache des choses et que les programmeurs en seraient les responsables (puisque certains les soupçonnent et veulent vérifier leur travail). Les programmeurs ont codé l'algorithme qu'on leur a demandé d'implémenter, fusse-t-il faux. De plus, on les prive des outils indispensables pour réaliser des tests sérieux et approfondis.... (en référence à mon précédent message sur les données détruites). Ne nous trompons pas de conclusion ni de responsable dans cette histoire.

Philippe Allain.

Je suis stupéfait d'apprendre que toutes ces précieuses données (les voeux des années passées) ont été détruites. Qui a bien pu imposer ce genre d'absurdité? C'est une mine d'informations inestimable jetée à la poubelle. C'est scandaleux. On voit bien là le retard qu'ont certains dans notre pays par rapport ce qu'on a coutume d'appeler le 'numérique'. Comment croyez-vous que les météorologues arrivent à progresser pour de mieux en mieux prévoir le temps ? Ils accumulent et conservent bien précieusement toutes les données qu'ils obtiennent de leurs instruments de mesure et d'observations. Et ils s'en servent pour tester des hypothèses et petit à petit mieux comprendre l'ensemble. On peut critiquer Google (entre autres) autant qu'on veut pour leurs gigantesques 'data centers' qui gardent tout ce qui traverse leurs serveurs (les mails, les vidéos, votre position instantanée et passée sur la planète grâce au mouchard que chacun transporte avec soi (GPS de son téléphone) etc.) mais eux, au moins, ont bien compris que ces données sont bien plus précieuses que de l'or en barre. Et pour le coup, on aurait tout intérêt à s'en inspirer, à leur demander de former les décisionnaires (certains personnels du ministère de l'EN et des autres ministères par exemple) ou donneurs de leçons (la CNIL) de notre pays. Ça dépasse largement le fait de 'protéger' les données personnelles. Une fois anonymisées (on enlève ou remplace ce qui permet d'identifier la personne concernée par la donnée), ces données ne présentent aucun risque pour personne. Les statisticiens et les sociologues peuvent alors en tirer de précieuses conclusions et les informaticiens les utiliser pour tester leurs futures versions d'APB. Pour permettre de faire avancer la science, des médecins, des chercheurs mettent sur internet, à disposition de tous, des informations bien plus personnelles que des voeux APB, anonymisées bien sûr, comme des images du cerveau, de tous les organes même, pour que les futurs professionnels puissent s'en servir pour apprendre. Et aussi, pour l'analogie avec APB, pour que les chercheurs/mathématiciens/informaticiens qui sont chargés de mettre au point les futurs outils d'observation, d'aide au diagnostic et d'opération/réparation puissent tester des hypothèses, bâtir des théories, mettre au point les algorithmes qu'ils imaginent pour atteindre des résultats toujours plus avancés.

Viviane Micaud.

Excellente analyse du problème global de l'affectation post Bac. Par contre le problème d'affectation après collège est différent et la solution n'est pas dans les logiciels. Il faut faire évoluer le rôle d'AFFELNET. C'est un problème complexe et il faut trouver les règles les bons équilibres. "Affecter les jeunes à une filière qui leur convient, qui conduit à terme à un emploi et qu'ils ont une chance raisonnable de réussir." Toute solution simpliste est forcément inadaptée. Sans aller dans le détail, je retrouve un grand nombre d'éléments qui ont un impact réel sur l'efficacité réelle du système et qui sont restés longtemps dans les non-dits.

Veronique.

APB Est injuste, il ne prend pas en compte les notes et appréciations et encore moins les motivations des jeunes. C'est une honte, 17 000 jeunes sur le carreaux titulaire de leur bac. Aucune possibilité de re-postuler sur les choix du 1er tour (bac en poche) .aucun accès aux établissements spécialisés. Ce système ne vise qu'à une chose FAVORISER l'accès à l'enseignement totalement Privé, et comme les parents ne peuvent pas payer les mensualités exorbitantes, les jeunes se retrouvent sans établissements, découragés et futur chômeurs.

Voir plus de commentaires