Dans les coulisses du classement de Shanghai

Cécile Peltier, avec Alexis de Canck Publié le
Dans les coulisses du classement de Shanghai
L'université de Jiao Tong est à l'origine du classement de Shanghai. // ©  Cécile Peltier
En une dizaine d'années, le classement de Shanghai est devenu une référence. Comment est-il mis en œuvre ? Quelles seront les évolutions à venir, notamment pour l'intégration des Comue ? Snow Wang, responsable du classement, a ouvert les portes de ses bureaux à Shanghai, début décembre 2016, à EducPros. Entretien.

Dr Snow Wang, responsable des classements au sein de ShanghaiRanking Consultancy.Comment expliquez-vous le succès de ce classement ?

À l'origine, l'équipe de l'université Jiao Tong, qui a mis au point le classement, cherchait à mesurer la performance des universités chinoises par rapport aux grandes institutions étrangères, afin d'améliorer leur compétitivité et leur visibilité sur la scène internationale.

C'était un outil interne. Mais l'ampleur du travail fourni et la transparence de notre méthodologie ont contribué à donner à ce classement une résonance mondiale, qui nous a, il est vrai, d'abord surpris.

C'était aussi l'un des premiers du genre : les classements des universités mondiales du THE (Times Higher Education) et du QS ont vu le jour l'année suivante. Encore aujourd'hui, ils continuent de se compter sur les doigts d'une main. Actualiser chaque année une telle masse de données demande un très gros travail...

Quel est aujourd'hui le statut de votre organisation par rapport à l'université Jiao Tong, et quel est son modèle économique ?

Pour des raisons d'indépendance, l'équipe qui conduit le classement de Shanghai dépend depuis 2009 d'une société extérieure à l'établissement, baptisée ShanghaiRanking Consultancy. Il y a une séparation stricte entre le volet "classement", à but non lucratif, mené par notre département, et les activités de conseil menées par d'autres départements de l'entreprise.

Combien de personnes travaillent sur le classement, et comment procédez-vous pour recueillir les données ?

La société comprend au total une vingtaine d'employés, mais seulement une partie d'entre eux travaillent sur les classements. En ce moment, ils occupent quatre personnes à temps plein, et plusieurs à temps partiel. La plupart sont titulaires d'un PhD. Et même s'ils ne sont pas diplômés en éducation – je suis par exemple diplômée en comptabilité —, au fil du temps, ils ont acquis une très grande expérience du secteur et une capacité à analyser et faire parler les données.

Nous ne recueillons pas d'informations auprès des universités, nous utilisons celles accessibles publiquement, notamment via des bases comme Elsevier. Notre méthodologie est connue de tous et les chiffres sont en libre accès. N'importe qui peut refaire nos calculs. Parmi les 1.200 universités que nous classons, chaque année, beaucoup s'adonnent à l'exercice et nous écrivent ensuite pour nous dire qu'elles sont arrivées exactement aux mêmes résultats. C'est très gratifiant.

L'ampleur du travail fourni et la transparence de notre méthodologie ont contribué à donner au classement une résonance mondiale.

Dès sa sortie, le classement a suscité beaucoup de critiques. Pourtant, vous avez choisi de conserver la méthodologie de votre classement principal. Pourquoi ?

Nous sommes très attentifs à ces remarques, que nous passons beaucoup de temps à compiler et analyser. Elles sont étudiées par notre conseil consultatif international. Nous les comprenons, mais, dans la très grande majorité des cas, nous ne pouvons pas faire grand-chose, car ces remarques ne s'accompagnent pas de solutions viables pour faire évoluer notre modèle. Or, pour classer les établissements, nous avons besoin de données comparables et disponibles au niveau mondial. Dans certains domaines, comme les sciences sociales, par exemple, il y a beaucoup de choses difficiles à quantifier.

C'est pour cela que nous avons, pour l'instant, choisi de ne pas faire évoluer la méthodologie de notre classement global, et nous continuerons à l'avenir.

Celle-ci repose sur six critères permettant d'évaluer de manière objective et précise la productivité des universités en matière de recherche.

Aucun biais subjectif, telle que la réputation, ne rentre en ligne de compte. La stabilité de notre méthodologie permet aux établissements de mesurer avec précision leur courbe de progression d'une année sur l'autre.

La visée initiale du classement était d'aider les universités chinoises à progresser. L'objectif est-il atteint ?

Elles auraient progressé sans nous, mais nous leur avons fourni un outil de comparaison qui a mis en évidence leurs marges de progression. Par exemple, beaucoup d'universités chinoises ont augmenté de manière assez conséquente leur production en matière de recherche, mais les publications dans "Nature" et "Science" restent encore assez difficiles pour beaucoup d'entre elles, en raison, notamment, de la barrière de la langue.

Ces établissements ont encore du mal à attirer les chercheurs internationaux. Mais le gouvernement et les universités chinoises ont des objectifs de progression importants.

Beaucoup d'universités chinoises ont augmenté de manière assez conséquente leur production en matière de recherche.

Malgré l'importance qu'elles lui accordent, les universités françaises restent assez critiques sur le classement de Shanghai. Comment analysez-vous cette position ?

Nous respectons le modèle français, si riche. Les universités hexagonales sont très fortes dans leurs domaines respectifs, mais, dans notre classement, elles doivent faire face aux grandes universités anglaises ou américaines multidisciplinaires. Je rappelle que notre ranking vise à mesurer quelque chose de précis, la performance en matière de recherche, et pas autre chose. Nous n'avons surtout pas la prétention de départager les mauvaises universités des bonnes.

Au fil des années, nous avons mené un gros travail d'explication auprès des établissements, qui, je crois, commence à porter ses fruits. Nous avons d'ailleurs des relations cordiales avec beaucoup d'universités françaises qui nous disent que notre démarche les a aidées à s'améliorer.

Les universités hexagonales ont créé des regroupements – Comue, associations – dans le but, notamment, de gagner en visibilité dans les rankings internationaux, mais elles n'en ont pas encore vu les bénéfices. Cela pourrait-il changer ?

La fusion légale au sein d'une seule et même entité constitue un prérequis indispensable pour que des établissements soient classés en tant qu'université unique.

Cependant, le processus de fusion est parfois progressif, et il nous est difficile de juger de l'extérieur s'il s'agit d'une seule et même organisation ou d'un consortium d'universités. Une liste officielle, établie par le ministère de l'Enseignement supérieur et de la Recherche français, pourrait nous être utile pour déterminer quels établissements sont susceptibles d'être classés. Avec l'idée que cette liste ne doit pas seulement être produite pour les seuls besoins des classements.

Notre ranking vise à mesurer quelque chose de précis, la performance en matière de recherche, et pas autre chose.

Votre classement génère beaucoup de compétition. A-t-il également contribué à faire avancer la communication entre universités et les échanges de pratiques ?

Depuis 2011, il existe un programme baptisé Grup (Global research university profiles). Les membres, au nombre aujourd'hui de 560, parmi lesquels beaucoup d'universités occidentales, ont accès à une plate-forme où ils peuvent échanger des statistiques sur un nombre varié de sujets (le nombre de professeurs, d'étudiants, de programmes...). Ils disposent également sur notre site d'une page de présentation et de synthèses statistiques. C'est un moyen pour nous de tisser des liens privilégiés avec les universités et pour elles d'en apprendre davantage les unes sur les autres. 

Depuis 2016, il existe une version du groupe réservée aux universités chinoises avec des données les intéressant plus spécifiquement. Pour l'instant, 30 universités sur 2.000 et les meilleures essentiellement, ont accepté de partager tous leurs indicateurs (étudiants, cours, professeurs, finances, etc.). Les retours sont excellents. Elles n'auraient sans doute pas les moyens humains de collecter seules ces données.

À côté du classement principal (ARWU), vous avez créé cinq sous-classements thématiques et, plus récemment, des classements par discipline. Avez-vous de nouveaux projets dans les cartons, en matière de sciences sociales ou d'arts par exemple ?

Depuis plusieurs mois, nous travaillons d'arrache-pied pour développer les classements par discipline lancés ces dernières années. Nous prévoyons de décliner nos cinq grandes thématiques de manière beaucoup plus fine, à travers une nouvelle méthodologie.

Nous avons démarré en juin 2016 avec sept nouveaux classements disciplinaires dans les sciences de l'ingénierie. Nous intégrons davantage d'indicateurs, comme la collaboration en matière de recherche avec des universités étrangères, qui est une tendance forte aujourd'hui, mais aussi avec des entreprises privées, les récompenses et prix internationaux par discipline, etc.

Nous aimerions décliner de nouvelles thématiques comme l'économie, l'agriculture, l'éducation... Cela demande un gros travail d'investigation, car d'un pays à l'autre, les dénominations ne sont pas les mêmes, les disciplines ne sont pas abordées de la même manière ou délivrées au même endroit.

Certaines disciplines comme les arts, la communication ou le marketing, sont très difficiles à évaluer, notamment pour la bonne raison qu'il est quasiment impossible d'identifier des récompenses qui fassent consensus. Pour tenter d'y remédier, nous avons commencé à établir une liste des prix les plus prestigieux par discipline, qui doivent prouver une vraie dimension internationale.

Nous aimerions décliner de nouvelles thématiques comme l'économie, l'agriculture, l'éducation...

Vous avez sorti début décembre 2016 un nouveau classement centré sur le sport. De quoi s'agit-il ?

Nous inaugurons en effet un nouveau type de classement, centré sur les écoles ou les formations spécialisées, avec un ranking mondial des facultés et des départements spécialisés dans l'étude du sport. Avec l'augmentation du niveau de vie, le sport est devenu un enjeu de société et une industrie prospère, qui, rien qu'en Chine, devrait générer 813 milliards de dollars par an d'ici à 2025.

La nouveauté réside dans le fait que nous classons les universités au niveau des facultés et des départements. Afin de constituer la liste finale des 361 universités et des quelque 400 entités liées au sport actives en matière de recherche présentes dans ce ranking, il nous a fallu des années de travail. Il y aurait d'autres domaines intéressants à explorer, tels que les arts ou la musique, mais il nous reste encore à trouver exactement comment !

Cécile Peltier, avec Alexis de Canck | Publié le