On en parle depuis quelques jours car c’est imminent… On en parlait aussi depuis quelques années, parce que cela préoccupait les esprits… À la fin du mois, le classement U-Multitrank des "meilleures universités", produit par la Commission européenne, va entrer en service. Cela donnera du grain à moudre aux personnels universitaires français qui ne digéraient pas la notion qu’une agence nationale se permette d’évaluer leur travail, et cela relancera le débat sur l’opportunité ou non de procéder à un classement ou une comparaison internationale des établissements d’enseignement supérieur. On connait, bien entendu, la réponse des nonistes.
Ces dernières années, les différents classements proposés subissaient le même sort que les agences de notation de crédit, et parfois on les trouvait une parfaite illustration de la fameuse citation anglaise: "Il y a les mensonges, les fieffés mensonges et les statistiques". Alors que la France s’était habituée à classer les personnes par ordre de sortie de ses concours de fonctionnaires, la notion que l’on puisse classer ses institutions, a fortiori celles où oeuvrent ses fonctionnaires, cela relevait de la faute de goût. C’était une offense à l’égalitarisme républicain, du moins tel que ce concept est compris en France, en une notion très peu traduisible au delà du Rhin, du Jura, des Alpes, des Pyrénées et du Quiévrain. L’exception soigneusement cultivée du modèle-que-le-monde-nous-envie était philosophiquement incompatible avec cette tentative d’évaluation. d’abord, c’est un modèle qui se pense naturellement à la place numéro 1, donc tout autre effort de classement est superflu. Deuxièmement, on imaginait que le rêve de tout étranger était justement de copier ce modèle numéro 1: donc inutile de se demander où ils se situaient, forcément derrière le numéro 1, mais aspirant à devenir aussi le numéro 1. Encore une autre raison de ne pas s’embarrasser de ces fieffés mensonges statistiques de classements. Il est vrai que d’un point de vue technique, les différents types d’établissement supérieurs français ne donnaient pas de bonne prise à comparaison avec les institutions essentiellement universitaires d’autres pays: mais cela n’était que la preuve que ces étrangers étaient tous des zéros incultes.
Preuve en fut apportée lorsque les Chinois de Shanghai Jiao Tong se mirent en tête de proposer un classement pour l’orientation de leurs étudiants partant chercher la substantifique moelle à l’étranger. Comme l’on sait de longue date que des producteurs de biens de consommation de faible qualité ne peuvent être des centres de référence, l’affaire était entendue et l’on pouvait continuer à dormir entre Français sur ses deux oreilles. Comme, malheureusement, et en dépit des critiques techniques, ce classement gagnait en publicité, il fallait quand même, de temps à autre, ressortir l’attirail contestataire permettant le rejet intellectuel et de l’exercice tel qu’il était proposé par ces Chinois interlopes et de l’exercice d’évaluation en tant que tel (à ce propos, l’AERES n’avait qu’à bien se tenir, et désormais, c’est messe dite et paix à son âme). Le même traitement pouvait d’ailleurs être réservé à d’autres impertinents: PISA, faite par l’OCDE, bien que relevant surtout de l’étude de l’éducation primaire et secondaire, s’est également trouvée vouée aux gémonies par la caste. Le classement du Times Higher Education Supplement présentait l’immense inconvénient d’être réalisé par des Britanniques, qu’on sait de nature perfide depuis le célèbre bon mot d’un petit militaire corse au tournant du XVIIIème siècle. Pour sauver l’honneur, l’Écoles des Mines se mit en tête d’utiliser le critère imparable, celui du nombre d’anciens élèves dirigeants d’entreprises du Fortune 500, et effectivement l’honneur se trouvait sauf, catapultant l’École Nationale d’Administration à la 7ème place mondiale. Ainsi les grandes écoles françaises trouvaient enfin leur dû. Pas certain que le reste des universités y soient si bien placées mais tant que l’on avait enfin requinqué l’ego des fonctionnaires français, c’était le principal.
Un problème évidemment récurrent évoqué par rapport à ces différents classements de l’enseignement supérieur était justement que, si on les comparait à PISA, on n’avait guère d’informations sur les qualités des enseignements, car les critères retenus concernaient surtout l’excellence de la recherche. L’expérience des étudiants était elle aussi laissée de côté.
Peut-être était-il juste, malgré les récriminations, de tenter des expériences pionnières: ces défauts ne seraient jamais tant apparus si ces sacrés Chinois ne s’étaient pas d’abord essayés à faire ce que refusaient de faire les universitaires français. C’est ainsi que désormais des experts rendant compte à l’eurocratie bruxelloise vont eux aussi se livrer à l’exercice, en espérant justement intégrer les éléments qu’on avait négligés. À terme ce classement devrait même être utilisé comme un indicateur, car il ne s’agirait pas seulement de dire aux étudiants quelles sont les "500 meilleures universités du monde", mais d’offrir un aiguillon pour qu’à terme entre deux cents et trois cents institutions européennes soient bien membres du Top 500. ça renoue bien avec l’ambition européenne énoncée en l’an 2000 à Lisbonne mais disparu dans le marécage des finances truquées de bon nombres de pays membres de l’Union.
La ministre de l’enseignement supérieur, qui se félicité toujours d’être ministre, a aussi entrepris de se féliciter que le classement U-Multirank voit le jour. Elle est assurée de sa place dans l’histoire intellectuelle de la civilisation occidentale. Il restera ensuite de voir comment ses fonctionnaires si réticents à toute évaluation vont réagir à ce nouveau hochet.


19 commentaires
Comments feed for this article
14 janvier 2013 à 22:34
Rachel
Astronaute, je ne sais pas si vraiment notre ministre actuelle restera dans l’histoire pour avoir instauré un nouveau classement. L’euroclassement est surtout l’œuvre de V. Pécresse, il me semble.
Sur le sujet des classements, elle (VP) disait des choses pleines de bon sens : « le problème du classement de Shanghai, c’est son existence ». « le classement de Shanghai est certes critiquable mais que puisqu’on ne pouvait changer les indicateurs dont nous n’étions pas maîtres, il valait mieux les retourner en notre faveur » (d’où l’idée de faire un nouveau classement « à nous »). Une idée était aussi de s’inspirer du classement national allemand, qui le faisait aussi par facultés selon les disciplines. A voir quelle forme prendre cette Euroligue universitaire.
15 janvier 2013 à 11:17
Helios
Je vais tenter d’expliquer la position (l’agacement) d’un mathématicien français, n’enseignant quasiment pas (sauf direction de mémoires M2 et thèses), et fonctionnaire, au sujet de ces classements. Bien entendu elle est liée très étroitement à la nature de la discipline et à la façon dont on l’exerce.
D’abord l’excellence c’est une notion individuelle, ne s’appliquant pas à des établissements. L’étudiant n’a pas à "chercher la substantifique moelle à l’étranger", tout se trouve déjà chez lui par internet dans ArXiv, et il peut communiquer directement avec les chercheurs par email, voire en vidéo-conférence. En général, je pense qu’on est très loin d’avoir tiré
toutes les conséquences de la communication instantanée, et de la diffusion instantanée de documents, qui sont des choses très récentes, et qui devraient entrainer le déclin de "centres", tout devenant disséminé.
Pour apprécier l’évolution, je pense par exemple qu’un exposé dans une conférence avait une importance bien plus considérable à la fin du 19ième siècle que maintenant, dans la diffusion des connaissances.
Alors à quoi sert un classement des écoles, vu de Sirius ?
Cela sert un peu à ce que font les Grandes Ecoles chez nous, donner aux employeurs des signaux. Ce que veut l’étudiant soucieux de classements d’établissements, c’est avoir un ticket d’entrée, de la plus grande valeur possible, c’est-à-dire permettent d’accéder aux jobs les mieux payés.
Ce n’est pas mon métier la fourniture de tickets d’entrée, le mien c’est la
recherche.
15 janvier 2013 à 13:04
Astronaute en transit
@ Rachel, il semble que la Commission européenne applique le même jugement que Valérie Pécresse sur les classements universitaires aux agences de notation, reprenant en cela un discours assez ambiant: puisque le message ne convient pas, on propose de créer une agence de notation "européenne" dont les appréciations seront supposées plus convenables, et surtout, moins critiques. On peut bien sûr s’interroger sur ce raisonnement lorsque l’on sait que de bons et authentiques ressortissants européens travaillent pour, et dirigent même, ces fameuses agences "étrangères". Je pense qu’il y a, dans la démarche de la création de U-Multirank, à la fois des deux soucis: le souhait d’un classement de meilleure qualité aussi bien que le souhait d’un classement aux résultats plus flatteurs. La crédibilité future d’U-Multirank va donc dépendre duquel de ces deux souhaits l’emporte en influence dans la mise en oeuvre. C’est pour cela que la réception de ce classement par les universitaires européens en général, français en particulier, va être intéressante à observer dans les mois à venir.
@ Helios, je dois avouer que c’est la première fois que je rencontre cet argument consistant à affirmer l’inutilité d’études à l’étranger en raison de la diffusion du savoir via internet. D’ici à en conclure que puisque les études à l’étranger sont inutiles, les classements le sont eux-mêmes, c’est une affirmation que je vais me contenter de trouver "originale", à défaut de la trouver convaincante à titre personnel. Si ce raisonnement s’avère être largement partagé par les chercheurs fonctionnaires français, c’est aussi un constat intéressant, car cela confirme une fois de plus leur réticence à toute évaluation ou comparaison de leur travail et de leurs institutions avec ceux d’homologues étrangers. Cette insularité intellectuelle est pour le moins singulière.
15 janvier 2013 à 13:47
Helios
@Astronaute en transit
Je n’ai pas contesté l’évaluation des individus, mais celle des structures.
15 janvier 2013 à 14:15
Astronaute en transit
@ Helios, pour ce qui est de votre position personnelle je vous entend bien. Mais pour ma part, quand j’écris "réticence à toute évaluation ou comparaison", je décris mon sentiment des attitudes de réticence plus générales soutenues par un grand nombre de personnes, et telles que je les comprends, comme s’appliquant aux individus aussi bien qu’aux structures.
15 janvier 2013 à 17:11
Sirius
Quelques remarques sur les classements.
Cela ne surprendra personne que les USA (maniaques du marché) et la France (maniaque des concours) soient les pays qui ont lancé cette tendance au niveau national.
Les classements internationaux ont accompagné le développement des échanges étudiants au niveau mondial.
Le classement (ARWU) de l’université Jao Tong de Shanghai a créé un choc parce qu’il venait de Chine. Il a été utilisé par des politiques français pour justifier les regroupement (les Pres, etc.) en des entités de 80 000 à 120 000 étudiants, alors que ce classement montrait que les universités les plus performantes étaient d’une taille beaucoup plus modeste (moins de 20 000 étudiants pour les 20 premières). Quand on veut agir sur le thermomètre (additionner les publications) plutôt que sur la santé du malade, on ne fait pas autrement.
Les classements internationaux se sont multipliés : Times Higher Education, Quaccarelli Symond (ancien partenaire statistique du THE, qui s’est mis à son compte), New York Times, Université de Leiden, Taïwan, l’école des Mines de Paris, Gouvernement de Russie, etc.
Les critiques sont abondantes sur ces classements, en particulier sur celui de Shanghaï qui ne prend en compte que la recherche dans les "sciences dures". Le plus ridicule étant celui des Mines qui "mesure" la capacité de l’institution à produire des dirigeants… 30 ans avant. ( remarque à Rachel, la dernière version (2011) ne met pas l’Ena à la 7° place, mais à la 9° derrière Hec (4°) et Polytechnique (7°)).
Ce que je voudrais souligner est que cette multiplication constitue une tendance lourde. Qu’on les aime ou pas (cf. Hélios) ces classements constitueront un élément permanent de la concurrence internationale entre établissements. Pour deux raisons fondamentales. L’enseignement supérieur est ce que les économistes appellent un marché incomplet. Il y a de la concurrence, mais celle-ci n’est pas régulée par les prix. Les parties-prenantes sont donc à la recherche désespérée d’informations pour faire leurs choix. D’autre part de grands médias trouvent là un marché solvable.
Le classement européen "multi-rank" est-il "la" réponse définitive à ce déséquilibre entre l’offre et la demande d’information ? Je ne le pense pas.
D’une part parce qu’il ne sera qu’un ranking parmi d’autres.
D’autre part parce que voulant être "plus intelligent" en donnant des classements multiples selon une variété de critères, il brouillera son message.
Dans un marché international de masse, les signaux efficaces sont simples. D’où le succès des classements et des accréditations, plus radicales encore, selon une logique binaire : "bon" vs/ "pas bon".
Je suis conscient du fait que de tels propos peuvent choquer ceux dont les références sont nationales et qui refusent le concept de concurrence universitaire. La question n’est pas savoir si la concurrence est souhaitable ou pas. Elle est. Et les classements en sont à la fois la manifestation et l’instrument, très imparfait, de régulation.
15 janvier 2013 à 19:23
Rachel
Sirius, je suis d’accord avec vous sur le « multi-rank », ça va être un peu trop compliqué à interpréter car non binaire. Mais il y a un avantage, c’est qu’il y aura plusieurs classements et donc une chance accrue pour une structure d’être classée quelque part (à moins d’être nulle en tout, bien évidemment).
Un autre truc qui m’intrigue dans ce classement « multi-rank », c’est comment on fera pour le volet formation. En France on va singulièrement manquer d’indicateurs étant donné que beaucoup d’enseignement ne sont pas évalués. Peut-être s’en tiendra-t-on aux taux d’insertion pro des étudiants (quand ils sont connus). Par ailleurs je me demande bien comment on fera pour comparer la qualité de la formation d’une structure non sélective (par exemple une université en France) et une structure sélective (par exemple une GE en France). Restera-t-on sur l’adage : « une bonne formation est celle qui sélectionne ses étudiants et elle est d’autant meilleure qu’il est difficile d’y rentrer » ?
15 janvier 2013 à 19:38
Astronaute en transit
@ Sirius: j’assume la responsabilité (car je ne suis pas Rachel) de "l’ENA 7ème mondiale" dans le classement des Mines, car ce 7ème rang était, je crois, celui de la première édition de ce classement, et m’était resté en mémoire (oui, je confesse aussi que le fier Cantabrigien que je suis retrouvait son alma mater plutôt mal servie par les Mines; remarque utile vu la récurrence des plaintes selon lesquelles toutes les vues que j’exprime ici résultent d’une frustration personnelle et non d’une "analyse scientifique des faits")
Pour le reste je trouve votre explication du phénomène des classements très éclairante.
15 janvier 2013 à 19:42
Astronaute en transit
Une question tarabuste le non-matheux, non scientifique et surtout non statisticien que je suis: serait-il possible d’amalgamer les résultats de différents classements existants (par exemple une combinaison Jiao Tong, THE, QS et U-Multirank) et à quoi aboutirait-on?
15 janvier 2013 à 19:54
PR27
Le problème des publis EPST reste un problème dans ce classement de Shanghai. Est-il significatif ou juste un petit bruit ? Je n’ai toujours pas compris si les publis d’UMR comptent pour 1 ou 1/2, les publis CNRS propres en tout cas ne comptent pas, l’INRIA ne compte pas etc.
A.Beretz a récemment diffusé l’info selon laquel "son" nobel n’avait pas été pris en compte par erreur matérielle des grands classificateurs, les chinois s’en sont désolés mais bon, hein, vu de loin la planète s’en fout. Les reviews foireuses, l’arbitre qui n’a pas vu le hors-jeu, ça fait partie du jeu, n’est-ce pas. A ce rythme, on pourrait aussi supprimer les données expérimentales qui ne coincident pas avec les conclusions qu’on veut tirer.
Mais bon, à tout cela on répondre "critique le thermomètre etc…" "principe de réalité".
Direction à prendre, à mon humble avis : un classement avec des données sources ouvertes à tous, le plus vérifiable et reproductible possible, le tout sans avoir à faire des démarches particulière.
15 janvier 2013 à 20:43
Rachel
PR27, en cas de publication de type UMR, je ne sais pas si ça compte pour 1 ou ½ mais ce qui est clair c’est que le classement de Shanghai est celui des universités. Donc une publication signée par un organisme de recherche ne compte pas. Est-ce que c’est significatif ou juste un petit bruit ? Je connais pas mal de chercheurs au CNRS et autres, je n’ai pas l’impression qu’ils soient non publiants.
Sauf un bref intermède sous le règne de V. Pécresse, le France a toujours soutenu ses organismes de recherche et a négligé ses universités. Ce qui se passe en ce moment ne déroge pas à cette tendance historique. G. Fioraso semble vouloir réaffirmer le rôle des EPST et ceci se fait au détriment des universités.
15 janvier 2013 à 21:15
PR27
Hi hi
A quand le classement des établissements dont le nom contient un nombre impair de lettres ? Modifierons nous le noms de nos établissements pour optimiser notre réputation ? Histoires de boutiques, je trouve.
15 janvier 2013 à 21:30
Rachel
PR27, oui je peux comprendre que ça fasse rire les personnes éclairées. Mais certains étudiants (et leur familles) n’ont aucun point de repère, mis à part les classements mis à disposition dans la presse. C’est un indicateur important pour eux (donc pour nous en conséquence).
16 janvier 2013 à 00:58
François
Il me semble que ce qui détermine "in fine" le choix des étudiants (et de leurs familles) est un rapport entre :
- le salaire espéré pendant la vie professionnelle (pondéré par l’intérêt de l’activité, la sécurité des emplois rendus accessibles, le statut social attaché à ces emplois),
- la difficulté, la durée et le coût des études correspondantes.
Dans la logique libérale de l’OCDE (qui justifie l’intérêt pour un État d’investir dans l’éducation par le fait que les personnes éduquées gagneront mieux leur vie et paieront donc plus d’impôts …) on pourrait dire qu’une mesure de la qualité de l’éducation dispensée par un établissement est le supplément de salaire (annuel et/ou cumulé sur toute la vie professionnelle) que permet d’obtenir l’ajout du diplôme correspondant à ceux obtenus antérieurement.
16 janvier 2013 à 02:34
Zerafshan
@PR27: ce qui amusant du cas Beretz, c’est que nous en avions discuté sur ce blog il y a plus de six mois (je ne retrouve plus le fil). Je lui avais par la suite envoyé un mail qui expliquait les raisons de la non prise en compte du prix nobel (son affiliation n’était pas indiqué sur le site officiel des prix nobel) et la solution: envoyer un mail au site en question… Quelques mois plus tard, et après intervention du Ministère, c’est bien cette conclusion qui s’impose: il suffit d’écrire au site en question ;-)
16 janvier 2013 à 09:38
Astronaute en transit
L’une des questions qui émerge du défi posé par les classements pour les universités françaises est justement celle de leur uniformité, ce qui rend tout effort de différenciation assez vain aux yeux de leurs personnels. Il n’y a pas si longtemps, on disait justement "l’Université". Une, indivisible, centralisée, comme une bonne institution bonapartiste qu’elle est, qu’elle était restée grâce au jacobinisme républicain. Au fonds n’a-t-on pas un système qui pouvait ressembler au "Universty of California system", ou aux franchises d’une fameuse chaine de restauration rapide? (des deux métaphores laquelle est la plus juste, ou la plus flatteuse?)
En baignant dans cette culture, il n’est peut-être pas surprenant que la notion même de "choix des étudiants" soit difficilement perceptible par de nombreux fonctionnaires français ennemis des classements.
La différenciation progresse pourtant. On peut remarquer comme cela a été dit plus haut que les premiers impacts des classements ont donné lieu à des réponses erronées (qui, soulignons le, sont bien le produit de décisions par des responsables publics français et non par les classements eux-mêmes); mais dans le très long terme, n’est-ce pas la culture des établissements universitaires qui est amenée à évoluer (et à être évaluée, désolé, je suis incapable de résister!)
16 janvier 2013 à 11:01
Sirius
@Astronaute en transit
Le classement des Mines est le plus insignifiant. Les grandes écoles françaises y font bonne figure. Le classement est fait pour ça. Indice intéressant le classement est géré non par des chercheurs, mais par le service de communication de l’Ecole. En fait ce bon score reflète davantage l’hyper concentration, en France, du recrutement des élites dans un petit nombre d’établissement. Cela ne mesure donc pas la qualité de ces écoles par rapport aux universités des pays où le recrutement des élites des affaires se fait sur une base beaucoup plus large.
Certains se sont sont essayés au jeu de la combinaison des classements. D’une part des journalistes non statisticiens ont fait des moyennes de rang ce qui n’a pas beaucoup de sens. (ex. Olivier Rollot sur son blog du Monde a fait le 13 dec. 2012 un classement combiné des écoles d’ingénieurs françaises).
Plus sérieusement, des chercheurs ont comparé des classements mondiaux en se posant la question : convergent-ils ou pas ?
La réponse est en gros qu’il y a convergence en tête et dispersion en queue. Cela s’explique parce que les universités d’excellence du type Harvard, Berkeley, Oxford, etc. sont universelles sur le plan disciplinaire et excellentes dans tous les registres. Alors que des universités moins dotées ont des point forts et des points faibles, mais pas les mêmes. Leur rang varie donc beaucoup en fonction des critères et de leur pondération
16 janvier 2013 à 11:10
Sirius
@ Rachel
Oui la césure française entre universités et organismes de recherche handicape fortement les universités françaises et de multiples manières.
Par exemple le classement de Shanghaï compte effectivement 1/2 pour une publication type UMR. Et les publications propres des organismes ne sont pas prises en compte.
Il existe un classement international, fait par des espagnols, des organismes de recherche indépendants des universités. Le CNRS est classé premier. Cocorico ! Malheureusement le critère du classement est le nombre absolu de publications. Ca veut dire que le CNRS est le plus gros du monde dans sa catégorie. Mais ne dit rien sur sa qualité ni sur la productivité de ses chercheurs.
Plus grave encore, l’absence de rigueur dans la façon de signer les publications crée un handicap totalement sous-estimé. La manie des universitaires français est de pratiquer un "patriotisme de laboratoire" qui les fait mettre en avant d’abord le nom du laboratoire, avec la référence à l’organisme s’il s’agit d’une UMR, puis souvent une référence à une composante, école, institut, enfin, mais pas toujours, le nom de l’université, qui lui-même connaît souvent plusieurs variantes. Or les gestionnaires des bases de données bibliographiques et leurs utilisateurs n’ont ni l’envie ni les capacités de faire l’exégèse des arcanes du mille-feuilles universitaire français. Donc ils éliminent ce qui n’est pas clairement attribuable. Résultat, il y a beaucoup de pertes en ligne.
Il y a encore peu d’universités en France qui ont pris conscience des enjeux stratégiques d’une vraie politique de communication. La "com" est méprisée et trop souvent réduite aux relations presses et au dessin du site internet. Pourtant le coeur de l’université étant constitué des programmes de formation et de la recherche, c’est à ce niveau qu’il faut agir. Or la plupart des universités françaises font à peut près n’importe quoi en matière d’intitulé des diplômes et de signature des publications. Ce qui est la meilleure façon de ne jamais acquérir une réputation internationale.
10 février 2013 à 16:48
Bientôt dans votre université... l'Euroclassement! | L'Encyclopédie en marche | Scoop.it
[...] On en parle depuis quelques jours car c'est imminent… On en parlait aussi depuis quelques années, parce que cela préoccupait les esprits… À la fin du mois, le classement U-Multitrank des "meill… [...]