Dans un récent référé transmis au premier ministre, la cour des comptes est assez critique au sujet de l’HCERES. Rappelons que l’HCERES est le « Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur ». C’est entité indépendante chargée de l’évaluation de l’enseignement supérieur et de la recherche publique (fiche Wikipédia ici, site HCERES ici). Elle a remplacé l’AERES (Agence d’évaluation de la recherche et de l’enseignement), sacrifiée en 2014 sur l’autel des nonistes par François Hollande (lire ici). Pour résumer, les critiques de la cour des comptes sont les suivantes (on pourra lire le référé en question ici).

  • Les « référentiels sont très normés », les « procédures sont particulièrement longues », ça génère un nombre de rapports important (que peut-être personne ne lit vraiment ?). Je suis assez d’accord avec cette première remarque. Les formulaires sont très formatés et j’ai du mal à croire que ça soit bien adapté à la diversité des pratiques des disciplines. Pour les produire, ça engendre un travail significatif pour les laboratoires, pour les établissements ou autres entités en liens l’enseignement.
  • La cour des comptes nous dit que « que les recommandations du Haut conseil font rarement l’objet d’un suivi ». Précisons ici que ce n’est pas à l’HCERES de faire un suivi. L’HCERES fait un constat et des recommandations aux instances qui ont la responsabilité de la marche des entités évaluées. Pour les laboratoires, c’est aux établissements de faire un suivi des recommandations. Pour les établissements, c’est au ministère de le faire. Je ne sais pas comment la cour des comptes peut faire ce constat car ça me parait un gros travail de voir comment les recommandations sont prises en cours et font l’objet d’un suivi. Mais si on constate qu’effectivement les recommandations ne servent à rien, alors autant ne pas en faire et supprimer l’HCERES.
  • Dans le référé, on a un dimensionnement de l’argent dépensé par l’HCERES pour leurs évaluations. Pour un laboratoire, c’est en moyenne 11 k€. Pour un établissement, c’est entre 33 et 50 k€. Au total, chaque année, l’HCERES dépense environ 8 M€ pour une vague d’évaluation. Franchement ici j’ai du mal à me rendre compte si c’est beaucoup ou non. Mais ça reste de l’argent public et il est donc important de vérifier que c’est bien dépensé.
  • La cour des comptes note aussi que l’HCERES n’est pas la seule autorité administrative à faire des évaluations des établissements du supérieur. En particulier les écoles d’ingénieur ont la CTI qui est la commission des titres d’ingénieur (je prends l’exemple que je connais bien). La cour des comptes dit « Il serait souhaitable, comme la LPR l’y invite, qu’un travail d’harmonisation soit rapidement engagé sous l’égide du Haut Conseil ». Ce point on l’a déjà beaucoup discuté sur ce blog mais il semble que les écoles fassent de la résistance et que les responsables politiques n’ont pas le courage de faire ce travail d’harmonisation et de simplification.

Ensuite la cour des comptes fait ses recommandations

  • Comme la cour des comptes trouve qu’il y a trop de rapports, elle propose de « rationaliser l’activité du Haut conseil et à rééquilibrer la granulométrie des évaluations ». Comme je n’ai pas compris comment il faudrait faire je ne vous explique pas.
  • Le « HCERES pourrait jouer un rôle accru dans l’évaluation des entités créées dans le cadre des programmes d’investissements d’avenir (PIA) » (on parle là des IDEX, Labex, IRT, ITE bref des Bidulex du PIA). C’est vrai que ça serait intéressant de savoir si la plus-value « d’excellence » a été vraiment à la hauteur des investissements consacrés. A mon avis on aura des surprises.
  • « Il faudrait également envisager l’instauration d’une forme de cotation des unités de recherche. Elle aurait l’avantage d’offrir des éléments de comparaison pertinents entre les entités évaluées ». Non ! pitié, non ! j’ai vu les effets toxiques de la notation de l’AERES, heureusement finalement abandonnée, on ne peut pas revenir là-dessus !
  • « L’évaluation ne saurait rester dépourvue de conséquences. Dans de nombreux pays étrangers, il existe un lien étroit entre évaluation et affectation des moyens ». Bref la cour des comptes propose de répartir l’argent en tenant compte des évaluations. Franchement je ne sais pas comment on va faire pour trouver l’équation magique, surtout avec des rapports qui sont quand même très édulcorés (avec la politique actuelle). On peut aussi se poser la question du devenir des élèves qui ont une mauvaise évaluation : pourront-ils s’améliorer si leurs dotations sont à la baisse ? Ne faudrait-il pas au contraire flécher des moyens sur les établissements ou laboratoires en difficulté pour les aider à remonter la pente ? L’argent public doit-il au contraire être fléché en masse sur les meilleurs (ceux qui par ailleurs ont des crédits en abondance sur les AAP) ?
  • Enfin la cour des comptes s’interroge sur le modèle économique de l’HCERES. Elle propose alors de faire facturer les évaluations aux établissements. Je trouve cette proposition complément inadaptée, hormis peut-être pour les établissements qui ne relève pas du MESRI ? Si le ministère souhaite faire des évaluations, alors qu’il prenne en charge les frais associés. 

A mon sens, une priorité d’évolution pour l’HCERES serait un allègement des procédures. Une idée serait de faire cette évaluation en deux temps :

Une première étape d’évaluation « light » pour laquelle on demanderait un court rapport d’activité du laboratoire et des équipes, incluant un nombre limité d’indicateurs pertinents (publications, insertion dans les réseaux, émargement sur des programmes à AAP). Ce ne serait pas là le lieu de faire une évaluation de la science (celle-ci est faite par ailleurs par les publications à comité de lecture). Le format pourrait être alors plus concis, avec moins de rubriques. Le rapport pourrait aussi inclure une rubrique un peu plus confidentielle du type « mot du directeur ou du comité de direction » qui signalerait les éventuelles difficultés ou problèmes, auquel s’ajouterait une possibilité à tous les membres de l’entité évalué d’exprimer ce qu’il souhaite. Ces documents seraient alors examinés en distanciel (bien entendu par un comité qui serait constitué par des pairs).

Ensuite il y aurait deux cas de figures.

1/ Si l’évaluation est bonne et si aucun problème majeur n’est remonté, alors la séquence s’arrête là. On aura fait économiser beaucoup de temps à tout le monde et le budget associé à cette méthode est très faible (tout est géré en distanciel).

2/ Pour certains dossiers, il est possible que l’évaluation soit plus mitigée ou alors des problèmes significatifs ont été remontés. Dans ce cas un comité de visite est organisé pour aller sur place et d’auditionner le laboratoire ou l’établissement en question. Le comité de visite peut alors très bien focaliser sur les points faibles ou problèmes identifiés (et ne pas passer de temps sur ce qui fonctionne bien). 

Je pense que ce format en deux étapes permettrait d’économiser beaucoup de temps et d’argent. Il permettrait surtout de focaliser sur les situations plus difficiles, celles qui méritent vraiment une attention particulière (et pas forcement dans l’objectif de les enfoncer encore plus !).