Classement européen des universités : phase-test positive

Propos recueillis par Mathieu Oui Publié le
C’est en juin 2009 que la Commission européenne a confié au consortium CHERPA (Center for Higher Education and Research Performance Assessment) (1) la réalisation d’une étude de faisabilité sur un classement multidimensionnel et interactif des universités à l’échelle mondiale. Franck Ziegele, responsable du CHE (Center for Higher Education) allemand et chef du projet U-Multirank, en présente, en avant-première, les conclusions.

Vous présentez, le 9 juin 2011 à Bruxelles, les résultats de l’étude de faisabilité d’un classement global d’universités sur des critères multiples, baptisé U-Multirank. Cette phase test, de novembre 2010 à mars 2011, a porté sur 157 établissements dans 57 pays. Quel en est le bilan ?
Il est positif : le classement est tout à fait réalisable. Il reste juste quelques éléments d’ordre mineur à résoudre. Ce classement porte sur cinq dimensions : la recherche, l’enseignement, l’internationalisation, l’engagement régional et le transfert de connaissances. Nous envisageons de 5 à 10 critères par dimension. Dans l’ensemble, les retours des universités ont été très positifs. Certaines ont jugé que les questionnaires envoyés leur demandaient beaucoup de travail, notamment quand l’information demandée n’était pas centralisée. Le retour sur l’enquête de satisfaction des étudiants a également été très positif. Nous avons reçu 6.000 réponses d’étudiants sur les 157 universités.

La plupart des informations collectées auprès des établissements l’ont été par le biais de questionnaires en ligne. Comment vérifier ces informations qui reposent sur du déclaratif ?
Nous vérifions les informations collectées auprès des établissements en les comparant aux enquêtes statistiques nationales. Par exemple, sur le financement de la recherche, l’indicateur fourni par l’université est comparé aux chiffres nationaux. Si l’on constate une grande différence, on se retourne vers l’établissement pour vérifier. Ce projet nécessite une communication intense avec les universités. Par exemple, dans la phase de collecte de données, nous demandions systématiquement à chaque institution le nom d’un contact personnel. Et nous mettions à leur disposition un système de hotline pour répondre à leurs questions.

Quels sont les principaux problèmes rencontrés lors de cette phase test ?
Le critère sur l’implication régionale de l’université sur son territoire (en anglais regional engagement) est le plus difficile à mesurer. À la différence des autres dimensions pour lesquelles nous disposons de nombreuses données statistiques, ce n’est pas le cas pour cette dimension régionale. Nous avons envisagé plusieurs indicateurs : la part des diplômés qui s’insèrent en région, le nombre de stages réalisés en région ou encore le nombre de copublications régionales, impliquant un chercheur d’une université et un auteur issu du tissu industriel régional. Mais ces données n’existent pas ou sont très difficiles à collecter. Nous devons encore travailler sur cette dimension.

Avez-vous rencontré d’autres difficultés ?
Nous avons été surpris par le peu d’empressement des universités américaines et chinoises à participer. Au final, alors que nous avions contacté plusieurs établissements, nous n’avons eu, pour chacun des deux pays, qu’une seule université ayant répondu au questionnaire. En Chine, les établissements doivent demander l’autorisation au gouvernement pour participer à ce type d’enquête et visiblement le gouvernement chinois n’était pas intéressé. Peut-être avait-il peur que ces universités soient mal classées… Nous avons aussi reçu très peu de réponses en provenance des États-Unis. Nous avons contacté 20 universités américaines, 4 ont confirmé leur intérêt et, au final, une seule nous a retourné le questionnaire. Il semble que ces universités n’ont pas bien compris ce projet européen. Elles ont probablement pensé qu’elles avaient plus à y perdre qu’à y gagner en répondant à notre sollicitation. Pourtant, cette phase test ne débouche pas encore sur un classement public. Chaque institution ayant participé recevra ses propres résultats et aussi son rang par rapport à la moyenne. Cela lui permettra de se comparer et de voir ses forces et ses faiblesses.

Quelles ont été les bonnes surprises ?
Nous avons eu un bon retour de certaines régions comme l’Amérique latine, l’Afrique ou le Moyen-Orient qui sont des zones un peu négligées par les autres rankings souvent très axés sur la recherche. Les universités australiennes se sont également montrées très intéressées par le projet.

Quelle est la prochaine étape?
Si la Commission européenne confirme notre mission, nous pourrons passer à la phase d’application. On pourrait envisager de sortir un premier classement d’ici à deux ans. Outre la question des critères régionaux à clarifier, il faudra aussi élaborer l’outil interactif qui permettra à l’utilisateur d’effectuer une recherche en fonction de tel ou tel critère. Enfin, une difficulté sera de savoir combien d’institutions participeront. Pour l’Europe, nous serions satisfaits si nous pouvions obtenir les réponses de 700 établissements. C’est un objectif réaliste si l’on considère qu’il existe entre 3.000 et 4.000 universités au niveau du continent. Se pose pour nous la question du seuil de participation des établissements à partir duquel un tel ranking sera crédible. Que faire, par exemple, si les cinquante grandes institutions de recherche au plan mondial manquent à l’appel ? Je pense que c’est une démarche progressive. Quand le CHE a lancé le classement des universités en Allemagne il y a dix ans, il était difficile au début de convaincre les établissements de participer. Et puis, au fur et à mesure, les universités ont compris qu’elles ne pouvaient pas se permettre d’en être absentes.


(1) Le CHERPA regroupe cinq institutions en Europe spécialistes de l’évaluation des établissements : le Centre for Higher Education Policy Studies (CHEPS) de l’université de Twente et le Centre for Science and Technology Studies (CWTS) de l’université de Leiden aux Pays-Bas ; l’Université catholique de Louvain en Belgique ; côté français, l’Observatoire des sciences et des techniques (OST) ; et enfin le CHE (Centrum für Hochschulentwicklung de Gütersloh), centre de recherches allemand, sur le développement du supérieur.

Propos recueillis par Mathieu Oui | Publié le