L’académie des Sciences a publié récemment un intéressant rapport sur l’évaluation des chercheurs, intitulé « Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs »  (lire ici). Il s’agit d’une question importante pour deux raisons. Tout d’abord on a vu poindre ces dernières années toute une batterie d’indicateurs bibliométriques (dont le fameux le h-index) qui n’est pas encore très utilisée jusqu’à présent dans les critères d’évaluation. Faut-ils les intégrer dans l’évaluation des enseignants chercheurs et des chercheurs et si oui comment ? La deuxième raison concerne plus particulièrement les EC car désormais ils seront obligatoirement évalués tous les quatre ans (par le CNU il me semble) avec des critères qui ne sont pas encore connus (à ma connaissance). Je parle bien entendu du volet recherche car les autres volets ne sont pas évalués.

Pour évaluer un chercheur, on a donc aujourd’hui deux approches possibles et qui, à mon sens, ne sont pas incompatibles: l’évaluation quantitative sur la base d’indicateurs bibliométriques et une approche qualitative sur une base apparemment plus floue bien que celle soit utilisée depuis longtemps.

L’approche quantitative est donc celle qui utilise des indicateurs bibliométriques. Le plus célèbre d’entre eux est le h-index mais il en existe d’autres (le g-index, le a-index, …). Leurs avantages sont qu’ils permettent de quantifier l’impact que peuvent avoir les travaux d’un chercheur, c’est-à-dire de savoir si ses articles sont lus et surtout s’ils sont cités dans les travaux ultérieurs. Si c’est le cas, cela indique que le chercheur en question a su apporter sa petite brique à l’édifice d’une discipline. On note aussi que le nombre d’articles publiés par un chercheur est aussi un indicateur bibliométrique, c’est d’ailleurs toujours beaucoup utilisé pour évaluer les EC (voir les critères du CNU pour les qualifications des candidats aux postes PR, par exemple). Dans ce cas, c’est une approche très « productiviste » car seul le nombre semble compter, sans regard à l’impact des travaux.

L’approche qualitative est celle qui est utilisée depuis longtemps, étant donné qu’il n’y avait pas vraiment de données bibliométriques jusqu’à récemment (mis à part de compter le nombre d’articles dans un dossier …). Cette évaluation est réalisée par les pairs, ce qui est globalement une bonne méthode bien que l’académie souligne un certain nombre de dangers comme une « certaine subjectivité, aggravée par la compétence parfois insuffisante de certains évaluateurs ainsi que par des conflits ou communautés d’intérêt potentiels, effets de groupe ou favoritisme quelconque ».

Pour l’Académie des Sciences, «  la bibliométrie ne peut en aucun cas se substituer à l’évaluation qualitative par les pairs, c’est-à-dire par des experts de la discipline qui pourraient cependant l’utiliser avec toutes les précautions nécessaires comme un outil d’aide à la décision ». Dans leur rapport, les académiciens discutent des avantages et des dérives possibles de la bibliométrie. Ils explorent aussi les champs d’application de la bibliométrie et définissent certaines applications à proscrire. « Bien utilisée, la bibliométrie pourrait devenir un outil utile entre les mains des pairs ». Ainsi ils proposent quelques recommandations pour un bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs.

A lire également un article dans le Monde, signalé par un aimable commentateur, intitulé « Les cher­cheurs sont pri­son­niers d’une course à la publi­ca­tion ». D’après l’article, les chercheurs sont soumis à une forte pression à la publication ce qui créé « des situations de détresse psychologique pires que pour le personnel urgentiste ». Ça, je vous avais déjà prévenu: le H-index ça peut provoquer des pathologies étonnantes !

Publicités