On le croyait un peu tombé aux oubliettes de la Commission européenne. Après une première phase de faisabilité conclue positivement, en juin 2011, la seconde étape du classement européen baptisé U-Multirank était annoncée pour l’automne dernier.
Entre-temps, des critiques ont émergé, notamment en Grande-Bretagne où le comité européen de la Chambre des lords a parlé de “gaspillage” dans un marché déjà bien encombré (voir l'interview de Phil Baty). Au final, le projet U-Multirank est toujours d’actualité : la Commission européenne a diffusé en mars dernier le second appel d’offres sur la mise en place d’un classement, avec pour date limite le 1 sup>er juin.
U-Multirank : vers une première version fin 2013
Le texte de l’appel d’offres rappelle les critères phares d’un classement devant être “multidimensionnel, adapté à l’utilisateur et international”. L’impératif : répondre aux besoins de l’utilisateur et déboucher sur un système de classement intelligent et personnalisé en fonction de ses objectifs, qu’il soit étudiant, chercheur, chef d’entreprise, etc. Les initiateurs d’U-Multirank n’entendent d’ailleurs pas le limiter aux seules institutions européennes, le but étant de comparer tous les établissements d’enseignement supérieur d’un point de vue international.
Parmi les autres critères figurant dans l’appel d’offres, le classement devra être notamment axé sur les disciplines (pour permettre des comparaisons), indépendant (notamment des gouvernements ou des établissements) et financièrement durable (sans frais pour les utilisateurs). Il est précisé que “la participation de partenaires privés pourra contribuer à cette gratuité”. La première version de cet outil devra être disponible vers la fin 2013. Le marché est doté d’une enveloppe d’un montant maximal de 4 M€ sur une période de 24 mois.
Le CHE en pole position
Le consortium CHERPA réunissant cinq institutions européennes(1) dont l’OST (Observatoire des sciences et techniques) français et le CHE (Centre for Higher Education Development) allemand, avait été retenu pour la phase de faisabilité et devrait répondre à ce second appel d’offres. Le modèle développé par le CHE , qui repose sur une classification par matière et non par établissement, paraît d’ailleurs s’affirmer en Europe comme le modèle de référence. C’est ainsi qu’il est en train d’être décliné en Espagne et que la France s’apprête également à lancer un modèle d’évaluation comparable. Dès lors, la solution d’un classement européen de type fédéral, avec l’agrégation de modèle décliné au niveau national, semble émerger.
En France, une cartographie baptisée CERES
En attendant la définition précise d’U-Multirank, les initiatives nationales se multiplient. Côté français, le projet s’intitule CERES (Cartographie des établissements d’enseignement supérieur et de recherche). “C’est un exercice qui pourrait alimenter le projet européen”, confirme Ghislaine Filliatreau, directrice de l’OST, l’organisme porteur du projet. L’initiative a été présentée lors du dernier colloque annuel de la CPU à Marseille et en accord avec la CDEFI et la CGE.
Cette version française déboucherait sur une cartographie multicritère des performances des établissements, avec une répartition des établissements en trois grands groupes de performances. “L’effet pédagogique auprès des institutions qui vont l’alimenter est important, indique-t-on à la CPU. Il s’agit de les amener à s’approprier l’outil et à sortir d’une position défensive vis-à-vis des classements.”
Cela dit, le projet n’en est pour l’instant qu’à ses balbutiements. Si le ministère de l’Enseignement supérieur a confirmé son intérêt, le plan de financement, d’un montant de 3 M€ sur trois ans, n’est pas encore adopté.
Sur le plan des classements, les initiatives s’envisagent sur le long terme...
(1) Le CHERPA regroupe cinq institutions en Europe spécialistes de l’évaluation des établissements : le Centre for Higher Education Policy Studies (CHEPS) de l’université de Twente et le Centre for Science and Technology Studies (CWTS) de l’université de Leiden aux Pays-Bas ; l’Université catholique de Louvain, en Belgique ; l’Observatoire des sciences et des techniques (OST), en France ; le CHE (Centrum für Hochschulentwicklung in Gütersloh), centre de recherches allemand sur le développement du supérieur.
AHELO ou la version étudiante de PISA
À côté du classement européen, les idées de rankings internationaux fleurissent. L’OCDE a ainsi lancé AHELO (Évaluation internationale des résultats de l’enseignement supérieur). Une version étudiante de sa fameuse enquête PISA sur les savoirs à l’issue de la scolarité obligatoire. “Comme dans l’approche PISA, nous cherchons à mesurer l’apprentissage des diplômés de licence en matière de connaissances et d’adaptation à des situations nouvelles”, explique Karine Tremblay, la responsable du projet pour l’OCDE. Une approche résolument plus qualitative que la plupart des rankings existants.
Pour l’heure, l’étude de faisabilité en cours porte sur 17 pays (de la Colombie à la Russie, en passant par la Finlande, la France n’ayant pas souhaité participer). Elle se décline sur trois axes principaux : les compétences génériques et deux tests disciplinaires, l’un portant sur l’économie et l’autre sur les sciences de l’ingénieur. Les trois compétences génériques évaluées à travers des tests identiques à tous les pays sont : la résolution de problèmes, la réflexion critique et la communication écrite. “Pour tenir compte des spécificités de chaque système national, les tests s’efforcent de ne pas coller au programme et au contenu des cours, mais de privilégier les situations réelles, poursuit Karine Tremblay. Par exemple, les étudiants ingénieurs sont confrontés à des situations professionnelles concrètes, comme la réalisation d’un pont ou d’une éolienne.”
En réponse aux rankings déjà existants, AHELO défend une approche multidimensionnelle qui ne devrait théoriquement pas déboucher sur une position unilatérale. “Il ne s’agit pas de résumer la performance d’un établissement en un chiffre”, insiste Karine Tremblay. D’ici l’été, les tests devraient être évalués et notés pour des premiers résultats diffusés dans le courant de l’automne.
span style="FONT-WEIGHT: bold">Site de l'OCDE pour en savoir plus sur AHELO.
L’IREG lance son audit qualité des rankings
L’IREG (International Ranking Expert Group) a lancé au mois de mars 2012 son audit visant à valider la qualité des classements internationaux. L’IREG comprend une trentaine d’institutions reliées au classement (dont le classement de Shanghai, le CHE allemand, le magazine US News and World Report ou encore la société britannique QS et six nouveaux membres ont rejoint le groupe en 2012). Les vingt critères sur lesquels est basé l’audit sont inspirés des strong>Principes de Berlin, une charte de bonnes pratiques sur les classements adoptée en 2006. Ils concernent notamment la méthodologie, la publication des résultats ou la transparence des informations. Ces vingt critères sont pondérés d’un coefficient 1 ou 2 et notés sur un total de 180 points. Pour obtenir le label “IREG approved”, un classement devra obtenir au moins 60 % du score maximal. L’audit est effectué par une équipe d’experts indépendants des organisations productrices de rankings et non membres de l’IREG.
Deux classements candidats. Proposé sur la base du volontariat, il en coûtera 6.000 € (4.000 € pour les membres de l’IREG) pour un audit étalé sur une période de neuf mois. Pour l’instant, deux organisateurs de classement (la société britannique QS et la Perspektywy Education Foundation en Pologne) se sont portés candidats. “Cet audit n’est ni une accréditation, ni un ranking des rankings mais un instrument de crédibilité”, indique Jan Sadlak, le président de l’IREG. De fait, et comme le constatait un récent rapport de l’EUA sur les rankings , “les méthodologies des classements restent globalement au-dessous des attentes des Principes de Berlin”, les critères de transparence et de facilité d’utilisation semblant de leur côté, “mieux respectés”. Toujours selon le rapport de l’EUA, “la plupart, voire la totalité, des classements existants auront à apporter certains changements de façon à s’y conformer réellement”. Quant à l’audit des classements par l’IREG, l’EUA rappelle la nécessité “d’associer des experts extérieurs à la procédure d’audit envisagée, afin de garantir que des voix critiques puissent s’exprimer en toute indépendance”.
