La qualité de la recherche souffrirait-elle d’une pression croissante sur les chercheurs ? Les facteurs de pression sont multiples. Les plus connus correspondent aux impératifs de production scientifique pour obtenir un poste, des crédits de recherche ou des promotions. La compétition est clairement devenue assez aride. Pour s’en sortir dans ce monde impitoyable, il faut publier (ce qui est d’ailleurs une missions d’un chercheur, ne l’oublions pas), ou mourir … selon le fameux concept du « publish or perish ». Par ailleurs, depuis peu la bibliométrie a fait beaucoup de progrès et il est maintenant possible de générer un panel d’indicateurs bibliométriques, dont en particulier le fameux « h-index » des chercheurs et l’impact des travaux en termes de nombre de citations. On a donc maintenant de nouveaux outils qui vont nécessairement faire évoluer les méthodes d’évaluation mais qui pourraient aussi modifier le comportement à la publication des chercheurs. En conséquence, outre les aspects de compétition pour les financements de la recherche, de poste ou de promotion, le monde universitaire s’inquiète aussi de l’impact de cette pression sur la qualité de la recherche.

Une étude récente par  Daniele Fanelli, de l’université d’Edimbourg, Royaume-Uni, donne quelques éclaircissements intéressants sur ce thème (D. Fanelli, Do Pressures to Publish Increase Scientists’ Bias? An Empirical Support from US States Data. PLoS ONE vol 5, e10271, open-access journal, ici). Avec un panel de 1300 publications issues d’universités US et balayant tous les champs disciplinaires, l’auteur a analysé le comportement de publication de chercheurs. Il a classé les publications en deux catégories : les publications qui offrent des résultats « positifs » et celles qui contiennent des résultats « négatifs ». Il est certainement utile de préciser ces notions. Une publication « positive » est celle qui relate des résultats attendus, c’est-à-dire qui va dans le sens de la confirmation d’une hypothèse préalablement émise et admise. Une publication « négative » est au contraire une publication qui ne va pas dans le sens attendu et qui donc pourrait remettre en cause une hypothèse ou théorie acceptée. Avec cette base de travail, l’auteur a dégagé quelques tendances que nous relatons ci-dessous (paragraphes numérotés 1 et 2), agrémentées ensuite de quelques remarques de caractère plus libre mais qui reprennent partiellement l’interprétation de l’auteur.

1. La moyenne de résultats « positifs » est de l’ordre de 85 %. Mais l’auteur constate des grands différentiels avec des pôles de recherche qui ont moins de 50 % de résultats « positifs » alors que d’autres affichent un score très proches de 100 %. L’auteur pense que ces écarts sont significatifs et traduisent différents comportements selon les centres de recherche.

2. Les chercheurs qui travaillent dans des universités où la productivité est la plus élevée (souvent des environnements compétitifs donc avec une pression élevée) sont enclins à faire des publications « positives ». En d’autres termes, plus les chercheurs publient, plus les publications sont « positives ». A la lumière de cette corrélation, plusieurs questions se posent : ces chercheurs, qui ont une productivité forte, font-ils un tri de leurs données pour ne sélectionner au final que celles qui sont « positives », donc faciles à publier ? Ces chercheurs seraient-ils « habiles » afin de donner à leurs articles une orientation « positive », y compris si le propos initial n’était pas réellement « positif » ? Ces chercheurs, issus d’universités plus productives (donc prestigieuses, donc « meilleurs » chercheurs, ou environnement intellectuellement stimulant, ou mieux équipés pour la recherche) pourraient aussi être favorisés par rapport à d’autres et aller plus fréquemment vers un résultat « positif » ? Ou bien n’y aurait-il pas une éventuelle falsification de leurs données ? etc … d’autres hypothèses sont les bienvenues dans les commentaires … mais l’étude de l’auteur tend à montrer que résultat « positif » est privilégié dans les environnements où la pression académique est forte. S’il a raison il fait alors apparaitre un biais.

Pourquoi un tel différentiel de comportement et surtout pourquoi tant de publications « positives » ? Un papier « positif » a de plus grande chance d’être cité à posteriori, ce qui augmente le taux de citation des chercheurs. Un chercheur aura donc tendance à prendre ce facteur en considération car ce taux de citations (donc son h-index) devient important pour sa carrière. Il aura donc tendance à privilégier la publication des résultats « positifs ». Un résultat « négatif » peut correspondre à une piste qui se ferme, une hypothèse que l’on devra abandonner, ce qui n’est pas bon pour les citations ultérieures. Par ailleurs, il faut aussi dire que les résultats « positifs » sont certainement plus faciles à faire passer au travers du filtre du peer review car ils vont dans le sens admis et ne remettent pas en cause des résultats antérieurs. Ainsi les publications en question ont moins de risques d’être refusées et passent le processus de publication plus rapidement. Chaque chercheur sait combien c’est un chemin de croix. Un résultat « négatif » est souvent une déception et demandera au chercheur un incrément de travail considérable s’il veut publier ses résultats car il ne pourra pas alors d’appuyer sur une hypothèse déjà émise. Il devra alors démontrer que l’hypothèse admise n’est pas correcte (possibilité de conflit) et construire une nouvelle hypothèse qu’il devra documenter et argumenter certainement de façon beaucoup plus solide. Enfin, il faut aussi mettre en considération le fait qu’un chercheur qui obtient des résultats négatifs peut très bien décider de ne pas soumettre ces résultats à la publication car tout simplement il ne comprend pas pleinement ses données et n’est pas capable de les interpréter sans ambigüité. Par définition, un chercheur est souvent une personne qui doute. Pour ma part, des résultats qui ne vont pas dans le « bon sens » ou que je ne comprends pas bien, j’en ai plein mes tiroirs … Les chercheurs sont des êtres humains et sont donc influençables. Ils vont donc avoir tendance à sélectionner l’information qui « va dans le bon sens » et qui s’appuie sur des hypothèses préalablement acceptées.

Deux petits remarques sur l’article, en plus de la présentation des résultats que je ne trouve pas claire. (1) l’auteur a pris en compte des publications entre 2000 et 2007. Cela aurait pu être une occasion de tester l’évolution de publications « positive » vs « négative » au cours du temps. Il aurait également été intéressant de faire quelques études sur des publications bien antérieures (années 1970 ou 1980) afin de comparer aux années 2000 : sont-elles aussi « positives » que celles des années 2000 ? Dommage que cela n’ait pas été fait. (2) Une étude du taux de citations des publications « positive » et « négatives » aurait été appréciable pour sa démonstration.

En conclusion de cette étude, on peut en déduire que les structures de pilotage et d’accompagnement de la recherche (financement, postes, promotions, …) devraient être vigilantes quant à une pression trop importante sur la productivité des chercheurs et à une utilisation irraisonnée ou abusive des indicateurs bibliométriques. Cela pourrait entrainer une diminution de la qualité de la science elle-même en termes d’objectivité et d’intégrité.

Publicités