Plutôt satisfait sur la quantité de rapports produits en peu de mois, le président de l’AERES pense pouvoir améliorer la qualité des évaluations à venir. Certains rapports de l’AERES ressemblent encore beaucoup à ceux du défunt CNE par leur tiédeur. Une critique que Jean-François Dhainaut ne réfute pas, reconnaissant que les rapports restent « président-dépendant »...selon que les présidents d’université jouent la transparence lors des évaluations ou qu’ils manient plus volontiers la langue de bois. Autre lacune, de jeunesse, cette fois : pour l’évaluation des établissements de la vague B, l’agence se retranche derrière un manque d’indicateurs sur lesquels elle avait peu de prise, les documents d’évaluation ayant déjà été demandés par le ministère.
Former les évaluateurs, harmoniser la méthodologie des visites
« Avec la vague B, on a appris en marchant. Nous devons avancer vers des rapports qui disent clairement les choses et de façon documentée. On peut être parfaitement clair si on est parfaitement objectif. Nos évaluateurs doivent évoluer aussi. Il est indispensable d’harmoniser les méthodologies de nos comités de visite», a reconnu Jean-François Dhainaut. Résultat, les 500 licences et masters évalués ne feront l’objet que d’un rapport de synthèse par université et non d’une notation par diplôme pour leur mise en ligne en juillet. Seuls les présidents d’université et la DGES l’ont reçue. En revanche les notes seront détaillées par unité de recherche. Les laboratoires seront présentés par académie. Pour une présentation par discipline, il faudra attendre que les quatre vagues d’établissements soient passées entre les mains des évaluateurs.
Dans l’attente des critères sur l’allocation des moyens
Les outils sur lesquels l’agence travaille changeront sans doute le visage de l’évaluation jusque là pratiquée en France, alors que les aides à la décision dans les universités sont quasiment inexistantes. Le président de l’AERES se pose en accompagnateur des universités dans leur apprentissage de l’autonomie et compte leur fournir notamment des sortes de tableaux de bord. Reste à savoir quels seront les indicateurs retenus. Pour les définir il manque une inconnue de taille : la part du financement des universités sur la performance. La DGES a déjà les critères sur l’allocation des moyens rendus par les sénateurs. Ceux des députés de la MEC (mission d’évaluation et de contrôle) devraient être connus autour du 19-20 juin 2008. « La DGES nous a envoyé un listing des items qu'il lui paraissait important mais ce ne sont pas encore des indicateurs. Pour l’instant cette liste exhaustive doit être limitée pour aboutir à un tableau de bord », estime Jean-François Dhainaut. « De ces indicateurs dépendront les financements aux universités».
Pour le président de l’agence, le critère de la performance le plus fiable serait non pas l’insertion professionnelle brute ni le salaire (pour les universités) mais le niveau de l’insertion professionnelle des diplômés. « Devenir chef de rayon à Décathlon après huit ans d’études ne peut pas être considéré comme une insertion professionnelle performante », illustre-t-il.
Un mapping plutôt qu’un ranking des universités françaises
Autre chantier en cours à l’Agence avec la DEPP (direction de l’évaluation , de la prospective et de la performance) du ministère de l’Education et l’OST (observatoire des sciences et des techniques), la mise en place pour l’année prochaine de baromètres sur le patrimoine, la gestion, la gouvernance, la vie étudiante, les relations internationales…dans des catégories d’établissements comparables. « Il est important que les universités et les grandes écoles puissent se comparer, mais il ne sert à rien de comparer Dauphine et Brest. On fait des typologies d’établissements en tenant compte de leur masse (nombre d’étudiants, d’enseignants, d’unités de recherche…). Chaque université pourra voir parmi les dix universités qui lui ressemblent où se situe sa recherche, son insertion professionnelle, ses relations internationales…On croisera aussi ces données en fonction de la spécialité disciplinaire ».
De quoi amorcer - selon l’idée lancée par Valérie Pécresse – la construction d’un palmarès européen des universités prenant en compte les spécificités des établissements. Un contre-modèle du classement de Shangaï fondé sur une liste d’établissements où priment les critères de recherche. Plutôt qu’un ranking, le choix des indicateurs retenus permettrait de dresser une cartographie - ou mapping - des établissements de même type. Une méthodologie inspirée de celle du centre de recherche allemand, le CHE (Centrum für Hochschulentwicklung). Il travaille à un classement européen sur la commande de la Commission européenne.
L’évaluation des enseignements par les étudiants
Enfin, inspiré par les modèles des agences d’évaluation à l’étranger, Jean-François Dhainaut veut faire davantage participer les étudiants sur l’évaluation des enseignements. « La participation des étudiants à l’évaluation est fondamentale. Les étudiants ne peuvent juger le fond des enseignements - qui relève de l’évaluation par les pairs voire d’une auto-évaluation - mais ils sont les mieux à même de juger de leur forme». Le président de l’AERES veut développer un pool d’une centaine d’étudiants d’ici à deux ans, comprenant une vingtaine d’étudiants étrangers francophones. En France, l’évaluation des enseignements n’en est qu’à ses débuts. Sur les 30 universités expertisées pour la vague B, 5 ont des points très faibles dans ce domaine et une seule sort du lot…
Une cellule vie étudiante à l’AERES
Actuellement, une trentaine d’étudiants –souvent vice-présidents étudiants - participent déjà aux comités de visite de l’AERES dans les établissements. Leur avis devrait davantage peser. Une cellule vie étudiante sera mise en place à la rentrée avec une cinquantaine voire une centaine d’étudiants d’ici deux ans. Le recrutement devrait se faire dans les universités - plutôt en master -, mais aussi dans les écoles de commerce et d'ingénieurs. L’objectif est de rédiger un guide pour l'évaluation des enseignements devant servir de base commune aux universités et aux grandes écoles. A l’instar de ses 75 délégués scientifiques animant les sections « formations » et « recherche », un ou deux étudiants « permanents» de l’AERES seraient en outre chargés d’animer ce pool. Des formations sur la vie étudiante, l'évaluation des enseignements, le suivi social des étudiants sont envisagées. Une étude sur les pratiques dans les agences à l’étranger doit aussi être réalisée. Ces animateurs travailleraient deux jours par semaine pour l'AERES. Une des animatrices, déjà recrutée, commencera à partir de septembre 2008. « Les compétences acquises par ces étudiants à l’AERES pourraient être validées dans le cadre de leur cursus par l’université», estime Jean-François Dhainaut.
