baguette_magiqueQuand on est chercheur ou enseignant-chercheur, il est de bon ton de feindre d’ignorer son h-index (ainsi que celui de ses collègues). Certains pensent même qu’il faut abandonner l’utilisation des indicateurs bibliométriques et se focaliser sur une évaluation qualitative. A mon avis, cette méfiance des indicateurs bibliométriques trouve sa source dans la grande fragilité intrinsèque des chercheurs face à leurs travaux et une certaine angoisse face au jugement (pour beaucoup, l’implication personnelle est forte et l’ego est souvent hypertrophié – voir notre billet sur les pathologies du h-index). La recherche est un environnement sans pitié et la reconnaissance de ses travaux ne coule pas de source. On peut très bien travailler plusieurs années sur une piste qui va se révéler foireuse et par conséquent impubliable.

Évaluation quantitative ou qualitative ? Si je comprends bien ce qu’est une évaluation quantitative (celle qui permet de sortir quelques chiffres de l’analyse bibliométrique, comme le h-index, le nombre de publications ou le nombre de citations), je comprends moins bien ce que peut être l’évaluation qualitative. Est-ce simplement donner une « impression » sur le travail d’un chercheur ? Sur quels critères se base-t-elle ? Il me semble qu’évaluer qualitativement le travail d’un chercheur est une opération très délicate avec des risques de subjectivité importants. Pour y parvenir avec justesse, les évaluateurs se doivent être très compétents afin de pouvoir répondre à des questions majeures comme le positionnement thématique, la méthodologie employée, l’insertion dans les réseaux, la portée des travaux, etc … Il est assez évident que seuls les spécialistes très proches de la personne évaluée pourront faire ce travail. On rentre alors dans un autre problème, ceci « du tout petit monde » de la recherche.

Évaluer les chercheurs mais pas les enseignants-chercheurs. Alors que le CNRS fait une évaluation très régulière de ses personnels sans que cela ne pose beaucoup de problèmes, l’évaluation des enseignants-chercheurs (sur le volet de la recherche) semble beaucoup plus difficile à faire admettre à l’université (on se souvient du mouvement noniste de 2009 qui avait refusé une évaluation quadriennale). D’ailleurs, il n’y a pas d’évaluation obligatoire. Le seul moment où on se fait évaluer, c’est quand on demande une promotion ou quand on veut se « qualifier » pour avoir le droit de passer un concours. On peut très bien faire toute sa carrière à l’université sans jamais se faire évaluer individuellement.

Pourquoi faire une évaluation ? Si c’est juste pour le plaisir d’évaluer, alors bien évidemment ça ne sert pas à grand-chose, mis à part une belle occasion de médire sur ses collègues. Une évaluation permettrait toutefois de maintenir une gentille pression sur les EC, de sorte qu’ils n’oublient pas qu’ils ont deux missions à réaliser. Cela permettrait aussi de redéfinir de façon plus équitable les missions d’enseignement (faire une modulation des services), bref de faire un minimum de GRH qui manque cruellement à l’université.

Recherche collective ou individuelle ? Dans un grand nombre de branches scientifiques (sciences « dures », sciences du vivant), la recherche est surtout une aventure collective. Dans ce cas, l’évaluation individuelle est alors rendue beaucoup plus difficile. Les indicateurs bibliométriques actuels ne prennent pas en compte le caractère collaboratif de la recherche. Prenons un petit exemple pour aider à comprendre le problème, avec deux chercheurs aux pratiques très différentes (mais dans la même discipline, pour que la comparaison ait un sens). Le premier travaille souvent seul ou ponctuellement avec des collègues ou doctorants. Il publie deux articles par an et dans chacun il donne une contribution majeure. Le deuxième chercheur est impliqué dans un gros programme de recherche (disons avec 50 personnes). Ce programme génère beaucoup de publications, avec un nombre d’auteurs important (disons une moyenne de 10 publications par an, avec pour chacune 20 et 50 co-auteurs). Notre deuxième chercheur est plutôt un « suiveur » (pas de honte à ça) et donne une contribution mineure au travail collectif (juste le petit morceau de compétence nécessaire). Comment faire pour extraire les contributions individuelles afin d’être au plus juste quand il s’agit de faire une évaluation individuelle ? Il est évident que le nombre de publications et citations (et donc le h-index) seront beaucoup plus important pour le deuxième chercheur alors que sa contribution est modeste comparée au premier chercheur. D’où une certain forme d’injustice si on s’en tenait seulement aux chiffres des indicateurs bibliométriques.

Facteur d’impact. Un autre indicateur dont il faut se méfier, c’est le facteur d’impact des revues. Bien entendu il est important de ne pas publier dans des journaux obscurs qui ne sont pas lus. Je pense que son succès vient du fait qu’on cherche à faire une évaluation des personnes sur du court terme (souvent les 4 dernières années) et dans ce cas, on manque un peu de recul pour juger de l’impact réelle de telle ou telle étude. Alors on s’en tient au facteur d’impact du journal dans lequel l’article est publié.

La formule magique. Dans ce billet, je propose donc la création d’un nouveau indicateur. Il aura un double avantage : (1) éviter l’évaluation qualitative (donc suggestive) (2) il prend en compte au plus juste les contributions des individus et l’impact des travaux. Ce nombre sera appelé *nombre magique*, ou *magic number* (*MN*). Quand on le citera, on accolera le double ** afin de souligner son caractère magique et universel.

  • Impact des travaux : la seule mesure vraiment objective de l’impact des travaux est le nombre de citation des travaux. Être cité est une preuve que les travaux ont été lus et jugés suffisamment intéressants pour la construction de l’immense puzzle qu’est la science. Étant donné que tous les travaux et citations sont référencés, c’est très facile à extraire des bases de données sérieuses (Web of Science or Scopus ; on évitera bien entendu Google Scholar). Il conviendra de normaliser ce nombre de citation par le nombre d’années suivant la publication. Prenons un exemple : un article publié en 2007 qui est cité 10 fois obtiendra un score de 10/(2013-2007) = 1.66.
  • Contribution des individus : Dans le cas où il y a plusieurs auteurs dans les publications, il faut répartir les crédits entre les individus. Très souvent les journaux ne demandent pas de détails sur les contributions relatives des auteurs. En l’absence d’information précise, on adoptera la règle suivante : on donnera la moitié du crédit au premier auteur et on répartira l’autre moitié sur le reste des auteurs. Par exemple, pour un papier avec 6 auteurs, le premier auteur prendra 0.5 crédit et les autres auteurs 0.1 crédit (le principe étant qu’une publication est normée à 1 crédit, quel que soit le nombre d’auteurs). Dans le cas où il n’y a qu’un seul auteur, alors l’auteur emporte tous le crédit =1.
  • Calcul du *MN*. Le *MN* peut être calculé pour un article ou bien pour un individu (donc un paquet d’articles, chacun des articles étant pondéré par une contribution personnelle). Pour un article rapporté à l’individu, le *MN* est le produit entre l’impact des travaux et la contribution personnelle. Avec l’exemple précédent, le *MN* est égal à 1.66*0.5 = 0.83 pour le premier auteur et égal à 1.66*0.1 = 0.166 pour les autres auteurs. Pour avoir le *MN * d’un chercheur, on fera alors la somme des *MN* des articles (voir formule ci-dessous). On pourra facilement adapter le *MN* sur des périodes précises. Par exemple le *MN5* sera celui des articles récents, publiés dans les 5 dernières années. On pourra aussi calculer le full *MN* (noté alors *FMN*), c’est-à-dire celui de l’ensemble de la carrière.

En résumé, la formule du *MN* s’écrit comme suit:

formule_magique

où n est le nombre d’articles sur lequel on fera la somme, ‘Cit’ est le nombre de citations, Na est le nombre d’années sur lesquelles on fera la moyenne de citations (ne pas confondre avec le nombre d’Avogadro, ce qui donnerait un *MN* minable), et ‘credit’ étant la contribution respective de l’auteur sur l’article.

Conclusion. Ce *nombre magique* présente de nombreux avantages. Il  permet de gommer les imperfections des indicateurs précédents et donc être au plus juste des contributions individuelles des chercheurs. Il permettra d’éviter les évaluations qualitatives arbitraires et surtout permettra un gain énorme de temps dans l’évaluation des dossiers des chercheurs.

Sur un sujet proche:

Publicités