Quand on veut calculer son h-index ou celui d’un collègue, on est bien embarrassé : quelle base de données utiliser pour faire un calcul fiable ? Les plus utilisées sont le Web of Science de Thompson Reuters, Scopus qui est développé par Elsevier et Google Scholar. Les deux premières sont payantes et la dernière est gratuite. Mais sont-elles équivalentes ? Donnent-elles des résultats fiables ? Plusieurs études sont disponibles sur le sujet. Nous allons illustrer ici un cas d’étude proposé par J. Bar-Ilan, Which h-index ? – A comparison of WoS, Scopus and Google Scholar. Scientometrics 74, 257-271, 2008. Dans cet article, l’auteur a calculé le h-index de 40 chercheurs Israéliens de différents champs disciplinaires avec les trois bases de données (Web of Science, Scopus et Google Scholar).
Traçons tout d’abord un graphique avec le h-index calculé par WoS et par Scopus. On constate que la corrélation est excellente, et ceci quelque soit les champs disciplinaires. D’autres études montrent également cette même tendance. Mais si maintenant on trace un graphique avec le WoS (ou Scopus) pour le comparer avec Google Scholar, là on constate que ça chahute un peu … Les deux graphiques sont ci-dessous (figure 1 & 2).
Figure 1 : h-index de 40 chercheurs calculés par Web of Science (axe horizontal) et par Scopus (axe vertical). On constate l’excellente corrélation entre les valeurs car les résultats restent proches de la droite de pente 1.
Figure 2 : h-index de 40 chercheurs calculés par Web of Science (axe horizontal) et par Google Scholar (axe vertical). On constate que la corrélation est faible.
Pour cette dernière figure, il est intéressant d’examiner plus en détails les résultats selon le champ disciplinaire des chercheurs (figure 3, les champs disciplinaires sont mis en couleur). Alors on constate alors que le h-index des mathématiciens et des informaticiens est beaucoup plus élevé si on prend Google Scholar. Au contraire, celui des physiciens ou chimistes est plus faible avec Google Scholar (ceci comparé à WoS). Pour les biologistes, on trouve une assez bonne corrélation.
Figure 3 : h-index de 40 chercheurs calculés par Web of Science (axe horizontal) et par Google Scholar (axe vertical). Les h-index des mathématiciens et informaticiens sont en bleu. Ceux des physiciens, chimistes, astrophysiciens sont en rouge. Ceux des biologistes (au sens large) sont en vert.
En conclusion, on peut utiliser indifféremment le WoS ou Scopus, on obtiendra alors des résultats assez similaires. En revanche, si on est informaticien ou mathématicien, il est fortement recommandé d’utiliser Google Scholar si on ne veut pas trop déprimer … ou alors calculer son h-index avec Google Scholar et celui de ses collègues avec WoS ou Scopus. Mais dans tous les cas, n’oubliez pas que le h-index doit être utilisé avec modération …
A lire également: Les chroniques du h-index – celles d’Albert Einstein, de Jacques Benveniste, de Jorge Hirsch, du Professeur Tournesol, de Piotr Chomczynski, de mon collègue de bureau, de Solomon Snyder, de la France, de Grigori Perelman et de Claude Allègre.
16 commentaires
Comments feed for this article
19 avril 2010 à 09:54
Jojo
Les habitants d’Israël sont des Israéliens, pas des Israélites.
19 avril 2010 à 10:12
Rachel
oops .. merci Jojo.
19 avril 2010 à 15:28
Laurent
On peut utiliser une base ou l’autre mais l’essentiel est de toujours citer sa source (H = tant selon untel). Ce que cette étude semble montrer (dommage qu’ils n’aient eu que 40 cas, ca semble peu fiable statistiquement, et les 3 discipines restent très larges) c’est que grosso modo, en utilisant Google Scholar ou WoS, si on reste à l’intérieur d’une même discipline on conserve peu ou prou une relation d’ordre. En d’autres termes, pour recruter sur un poste à profil ciblé, et pointu, ca ne semble pas changer grand chose de se faire une idée de l’impact/la productivité des candidats selon l’une ou l’autre des bases, mais il faut utiliser la même pour tout le monde (il y a encore une assez bonne corrélation entre GS et WoS chez les matheux/informaticiens, mais avec un facteur multiplicatif de l’ordre de 2 – je suis d’ailleurs exactement dans ce cas).
Par contre, si on veut évaluer l’impact/la productivité d’une recherche à l’échelle d’une université ou même d’un pays, alors Google Scholar semble lisser mieux les différences entre disciplines.
Mais bien entendu, d’accord avec vous qu’il ne faut pas en abuser …
19 avril 2010 à 19:55
Tweets that mention Calculer son h-index : quelle base de données choisir ? « Gaïa Universitas -- Topsy.com
[…] This post was mentioned on Twitter by Nicolas Barts. Nicolas Barts said: Calculer son h-index : quelle base de données choisir ? http://ff.im/-jbqtm […]
20 avril 2010 à 09:38
JF
En gros, c’est comme toute mesure en sciences expérimentales : ça vient avec une méthodologie et une barre d’erreur. Comparer des mesures obtenues avec des méthodes différentes n’a aucun sens; interpréter des différences plus petites que la barre d’erreur, non plus
Sounds familiar ?
21 avril 2010 à 11:44
Calculer son h-index : quelle base de données choisir ? / (Gaïa Universitas, 19/04/2010) « Blog UMR Spirit
[…] 21 avril 2010 in tribunes, opinions, débats… | Tags: articles sur la bibliométrie, h-index Quand on veut calculer son h-index ou celui d’un collègue, on est bien embarrassé : quelle base de données utiliser pour faire un calcul fiable ? Les plus utilisées sont le Web of Science de Thompson Reuters, Scopus qui est développé par Elsevier et Google Scholar. Les deux premières sont payantes et la dernière est gratuite. Mais sont-elles équivalentes ? Donnent-elles des résultats fiables ? Plusieurs études sont disponibles sur le sujet. Nous allons illustrer ici un cas d’étude proposé par J. Bar-Ilan, Which h-index ? – A comparison of WoS, Scopus and Google Scholar. Scientometrics 74, 257-271, 2008. Dans cet article, l’auteur a calculé le h-index de 40 chercheurs Israéliens de différents champs disciplinaires avec les trois bases de données (Web of Science, Scopus et Google Scholar)… lire la suite […]
21 avril 2010 à 13:10
Calculer son h-index : quelle base de données choisir ? « La Boussole
[…] L’article […]
21 avril 2010 à 18:54
mixlamalice
Pour compléter mon message précédent, comme dit JF, attention à la méthode (encore que normalement, un paramètre physique doit pouvoir, dans une certaine mesure, être déterminé par plusieurs méthodes différentes qu’on peut comparer) et à la barre d’erreur:
bref, autant comparer trois chercheurs avec un h-index de 5, 25 et 100 a probablement du sens, autant en comparer trois autres avec un h-index de 3, 5 et 6 (ou 19, 23 et 25), probablement moins.
Malheureusement, à une époque ou tout, du chercheur au pinard en passant par le restaurant ou le médecin, doit être classé au cheveu près mais ou personne ne semble s’intéresser au mode de classement proprement dit, ce genre de déviances se retrouve de plus en plus sur les CVs des candidats et on en parle de plus en plus dans les commissions même si on s’en défend (regarde, lui il a publié un papier de plus en 6 ans, ça prouve bien qu’il est meilleur).
21 avril 2010 à 18:59
mixlamalice
PS (sorry)
« bref, autant comparer trois chercheurs avec un h-index de 5, 25 et 100 a probablement du sens, autant en comparer trois autres avec un h-index de 3, 5 et 6 (ou 19, 23 et 25), probablement moins. »
à spécialité identique et âge à peu près égal bien sûr. Dans mon sous-domaine, un post-doc de 30 ans avec un h-index de 5, c’est « normal ». Un permanent de 55 piges dans le même cas, moins.
22 avril 2010 à 00:31
Cactus Acide » » L’observatoire du neuromancien 04/21/2010
[…] Calculer son h-index : quelle base de données choisir ? « Gaïa Universitas […]
28 septembre 2010 à 16:32
Brice
Bonjour,
comme vous l’indiquez, l’index H est un outil permettant de quantifier la productivité scientifique et l’impact d’un scientifique en fonction du niveau de citation de ses publications. Il peut aussi s’appliquer à un groupe de scientifiques, tel qu’un département, une université ou un pays.
Cependant, l’index H ne prend en compte que les citations provenant de revues scientifiques et non des brevets. A titre d’exemple, si des travaux innovant correspondant à des technologies appliquées sont publiés dans des revues scientifiques, il y a de forte chance de trouver des citations faites à ces travaux dans la littérature brevet, qui ne seront donc pas inclue dans le calcul de l’index H. De ce fait, l’index H ne donne qu’une image partielle de l’impact de travaux scientifiques dont il fait l’objet.
A partir de ce constat, notre société (http://www.knowmade.fr) a développé une méthode pour identifier les brevets citant les travaux issus de la recherche scientifique afin de pouvoir calculer « l’index h brevet » d’un chercheur ou d’un laboratoire. Couplé à l’index H standard, le calcul de l’index H brevet permet d’obtenir une vision globale de l’impact de travaux de recherche.
15 juin 2011 à 18:56
xtal
Inscrivez-vous à ResearcherID.
http://www.researcherid.com/
14 novembre 2011 à 11:43
» Calculer son h-index : quelle base de données choisir ? Audrey Baneyx
[…] 74, 257-271, 2008.) rapportée sur le blog des extraterrestres de la Gaïa Universitas ici. J’avais moi-même mené une expérience similaire fin 2008 (cf. Baneyx Audrey. Publish or […]
12 septembre 2012 à 22:34
Calculer son h-index : quelle base de données choisir ? | actu-formation | Scoop.it
[…] Quand on veut calculer son h-index ou celui d’un collègue, on est bien embarrassé : quelle base de données utiliser pour faire un calcul fiable ? Les plus utilisées sont le Web of Science de Thomps… […]
6 mars 2013 à 17:19
Les régions qui investissent dans la recherche et le développement | Le blog de l'Iffres
[…] Calculer son h-index : quelle base de données choisir ? […]
15 août 2014 à 09:31
Mon index Kardashian est de 1.39 | Tout se passe comme si
[…] peints et du prix cumulé qu’ils valent. (Voir discussions chez mysciencework, enroweb, Gaia universitas par […]