* L'OST (Observatoire des sciences et techniques) fait partie du consortium européen qui a remporté l'appel à projets pour la réalisation d'un classement européen des universités mondiales.
Vous participez du 2 au 4 novembre à la troisième Conférence internationale sur les universités de classe mondiale organisée par l’université Jiao-Tong de Shanghai. Sur quel thème portera votre intervention ?
Je participe à cette manifestation pour la troisième fois. Dès le premier colloque, j’avais tenu un regard critique sur ce classement qui est largement basé sur la taille des établissements. C’est un critère important mais ce n’est pas le seul à considérer. Depuis, les critères ont été affinés avec, par exemple, la prise en compte des disciplines et je trouve globalement que, et malgré ses limites, c’est un classement bien tenu. Et puis nous avons de bonnes relations avec le professeur Liu et son équipe (1).
Cette année à Shanghai, je vais présenter un nouvel outil que nous développons, dérivé d’un classement mais utilisé pour que l’établissement trouve d’autres établissements auxquels se comparer, sur tel ou tel aspect. A l’OST, nous travaillons beaucoup autour de l’idée qu’il n’est pas facile pour un établissement de savoir pourquoi il est classé à telle place, en comparaison de tel autre. L’idée est donc de compléter le classement par une série d’autres outils qui fonctionnent dans une optique de comparaison. Cette exploration pourrait servir à la stratégie d’un établissement. En gros cela consiste à dire, pour tel ou tel critère, voici les universités qui sont dans votre classe de pairs, parce qu’elles ne sont nettement ni en dessous, ni au dessus.
Concrètement, comment un établissement pourra utiliser un tel outil ?
C’est pour l’heure un pilote, qu’il faudra tester avec différents utilisateurs pour vérifier son utilité. Par exemple, si on s’intéresse aux publications de l’établissement dans le Web of science, - la base de donnés bibliométriques qui collecte les articles scientifiques publiés par des milliers de journaux internationaux – on va proposer aux établissements de se mesurer aux autres soit par rapport à l’ensemble de leur production scientifique ou soit par rapport à la partie la plus visible de la production.
Il s’agit de donner aux établissements un outil paramétrable qui permet de tester différents points de vue sur leurs performances. Le but de cet outil de comparaison, qui va un peu au-delà d’un classement, est de stimuler la réflexion. Présenter ce nouvel outil à Shanghai est une façon de montrer qu’on doit continuer à inventer de nouveaux outils. C’est aussi le cas du futur classement européen qui sera également présenté lors du colloque.
A ce propos, où en est-on du projet du consortium Cherpa (2) qui a remporté l’appel d’offre de la commission européenne pour la mise en place d’un classement européen ?
Le consortium vient de présenter à Bruxelles le 8 et 9 octobre 2009 une proposition, U Multirank, qui va continuer d’être affiné dans les semaines qui viennent. Elle combine la double approche du CHEPS néerlandais qui propose des regroupements d’universités comparables (projet U Map) et le classement multicritères du CHE allemand qui depuis quinze ans, est largement utilisé par les étudiants allemands. C’est une approche plus compliquée que celle de Shanghai, mais plus précise et plus respectueuse de la réalité d’un établissement.
D’ailleurs, la réception de ce projet par le groupe des stakeholders et des experts a été positive. En 2010, nous testerons ce modèle sur 150 établissements internationaux. Les résultats sont prévus pour la fin 2010. L’OST apporte au consortium son savoir-faire en terme de compétences statistiques, de bibliométrie et de collecte des données.
Quel regard portez-vous sur le domaine des classements, en plein développement ?
Il y a encore trop de classements qui n’affichent aucun objectif ou cible explicites. C’est pourtant le premier des principes de Berlin (cf encadré), définis en mai 2006 par span style="text-decoration: underline;">l’IREG (International Ranking Expert Group). Car la seule façon de mesurer le bien-fondé d’un classement est de vérifier l’adéquation entre les moyens mis en oeuvre et les objectifs affichés. En matière de rankings, il y a encore beaucoup de choses passionnantes à explorer et à inventer.
En France et dans d’autres pays d’Europe, il n’y a pas une longue habitude des classements comme aux Etats-Unis ou en Chine. Par exemple, le milieu des statisticiens a encore peu investi ce nouveau domaine. Les économistes commencent à s’y intéresser. Quant aux recherches sur les effets sociologiques des classements, ce sont surtout les chercheurs américains qui ont déjà vingt ans de recul, qui s’y intéressent. Je pense par exemple aux travaux de Wendy Nelson Espeland.
(1) Ying Cheng, l’adjoint de Nian Cai Liu (à l’origine du classement) a passé une année de post-doc à l’OST en 2008 pour se former à la bibliométrie.
(2) Le Cherpa regroupe, outre l’OST, le Centre for Higher Education Development (CHE, Allemagne), le Center for Higher Education Policy Studies (CHEPS, université de Twente Pays-bas), le Centre for Science and Technology Studies (CWTS, université de Leiden, Pays-Baa), et le Research division INCENTIM (université Catholique de Louvain, Belgique). L’European Federation of National Engineering Associations (FEANI) et l’European Foundation for Management Development (EFMD) sont également associées.
Les principes de Berlin : un guide des bonnes pratiques en matière de classement des universités
Définir un cadre de bonnes pratiques pour contribuer à l’amélioration de la qualité et de la fiabilité des rankings internationaux, tel est le but des principes de Berlin établis en 2006 par l’IREG (International Ranking Expert Group). Ce Groupe d’experts internationaux a été fondé en 2004 par le Centre européen pour l’enseignement supérieur de l’UNESCO (UNESCO-CEPES) de Bucarest et l’Institute for Higher Education Policy de Washington. Ces principes, au nombre de seize, s’organisent en quatre grandes parties : les buts et objectifs des classements, la création et la pondération des indicateurs, la collecte et le traitement des données et enfin, la présentation des résultats. Au rang des recommandations figurent par exemple la prise en compte de la diversité des établissements, la transparence dans la méthodologie ou l’utilisation de données vérifiables.
