Teriiehina.net

Texte original de Nicole Pinhas, Réseau DIC-DOC - Le Kremlin-Bicêtre, et Claude Kordon, Directeur Unité INSERM U. 159.

Edit: page wikipédia

Dans les années 1960, Eugène Garfield fonde, à Philadelphie, une société privée, l’Institute for scientific information (ISI) et y développe la base de données bibliographiques Science citation index (SCI), avec l’objectif de mettre au point des indicateurs mesurant la “consommation” des résultats scientifiques. Il propose d’analyser les articles scientifiques en prenant en compte les citations.

Le Science citation index (SCI) est une base multidisciplinaire qui contient 13 millions de références et 150 millions de citations enregistrées, depuis 1964, par 4 500 périodiques scientifiques et techniques couvrant toutes les disciplines. Notons, cependant, que les sciences du vivant y sont moins bien représentées que dans les bases biomédicales spécifiques telles que Medline ou Embase qui balaient chacune environ 3 600 périodiques. Les citations sont repérées par le nom du premier auteur (le seul pris en compte), l’année de publication et la référence des articles, mais sans le titre.

Les Journal Citation Reports (JCR) contiennent des indicateurs destinés à évaluer la “consommation” d’articles et de périodiques par les scientifiques. Articles originaux, éditoriaux, “lettres à la rédaction”, “news” et résumés de congrès sont comptabilisés comme citations (cited).

En revanche, seuls sont pris en compte comme sources (citing) les articles de recherche ou de revues et les notes techniques. On peut, en outre, identifier les périodiques “citants” et “cités”, l’âge des citations ou encore le taux d’auto-citation. Notons sur ce dernier point que le taux d’auto-citation est fortement sous-évalué, puisqu’il ne prend en compte que le premier auteur auto-cité : la majeure partie des citations d’une équipe par elle-même n’est donc pas comptabilisée comme auto-citation.

Le JCR comporte six sections ; il permet de classer les périodiques selon différents critères :

• les plus cités en valeur absolue
• ceux dont les articles sont les plus cités en moyenne (facteur d’impact), globalement ou par discipline
• ceux qui publient le plus grand nombre d’article
• les plus “chauds” (classement par indice d’immédiateté)

Les indicateurs

Six indicateurs principaux peuvent être calculés à partir de la base de données.

Le facteur d’impact (Impact Factor, IF), le plus connu et le plus utilisé des indicateurs fournis par l’ISI. Il représente, pour une année donnée, le rapport entre le nombre de citations sur le nombre d’articles publiés par un journal, sur une période de référence de deux ans. Il mesure donc la fréquence moyenne avec laquelle l’ensemble des articles de ce journal est cité pendant une durée définie. C’est un indice de mesure rétrospective de l’impact à relativement court terme.

Par exemple, l’impact factor (IF) de Science (21,911), en 1995, a été calculé de la manière suivante :

• citations en 1995 d’articles publiés en 1993 : 24 979 ; 1994 = 20 684 ; total = 45 663
• nombres d’articles publiés en 1993 : 1 030 ; 1994 = 1 054 ; total = 2 084
• IF = nombre de citations/nombre articles (45 663/2 084) : 21,911

On peut donc dire que les articles de Science publiés en 1993 et 1994 ont été cités un peu moins de 22 fois en moyenne.

Le facteur d’impact ne rend pas compte des changements récents intervenus dans la politique éditoriale d’un journal : c’est ainsi que le dernier facteur disponible (impact 1995, publié en 1997) est calculé sur les articles publiés en 1993 et 1994, et reflète donc la situation des périodiques des deux à quatre années précédentes.

L’ “indice d’immédiateté” (immediacy index) est une mesure de la rapidité de citation des articles. Il représente le rapport entre le nombre de citations se rapportant à des articles publiés pendant la dernière année de référence et le nombre d’articles de cette même année.

Par exemple, l’indice d’immédiateté de Science (4,738) est calculé comme suit :

• citations, en 1995, d’articles publiés en 1995 = 4 913
• nombre d’articles publiés, en 1995 = 1 037

L’indice d’immédiateté est donc égal au rapport nombre de citations/nombre d’articles (4913/1037) = 4,738. D’une façon générale, seules les très grandes revues généralistes ont un facteur d’immédiateté supérieur à 2.

La demi-vie des citations (”cited half-life”) est une mesure de longévité des citations d’un périodique, définie comme le temps au bout duquel celles-ci tombent en deçà du seuil de 50 % de leur nombre total.

Dans notre exemple, la demi-vie des citations de Science est de 5,6 ans : c’est le temps au bout duquel la moitié des articles de 1995 ne sera plus citée. La demi-vie des articles dépend de leur nature : en fonction du temps, le taux de citation suit une courbe en cloche (qui passe par un maximum entre 2 et 3 ans) ; les articles atypiques ne commencent à être cités que beaucoup plus tard.

Complémentarité des indices

Tous les indicateurs fournis par le Journal citation report (JCR) devraient être pris en compte si l’on veut obtenir une évaluation globale des performances d’un périodique. En analysant l’évolution des six indicateurs du JCR sur 19 ans, Magri et Solari montrent la fragilité de conclusions partielles basées sur certains indices seulement.

En réalité, les périodiques semblent se distribuer en quatre groupes : “bas”, “central”, “haut” et “extrême”. Le groupe “extrême”, qui ne représente que 10 % des périodiques, se caractérise par des indicateurs de valeur “hors standard” et tend à dévaluer exagérément les autres. La plupart des revues (50 %) se retrouvent, en fin de compte, dans le groupe central. Il est donc déraisonnable de porter attention à toutes les décimales officiellement publiées.

Des indicateurs de performance collective ou individuelle ?

Comme on le voit, les indicateurs reflètent l’usage des périodiques, mais ne sont pas conçus pour mesurer l’impact scientifique des auteurs d’articles particuliers (ou la qualité d’un article). Le facteur d’impact se rapporte à un périodique et non à un article. Il est d’abord un indice de visibilité d’une revue. Extrapoler sa signification peut induire en erreur : les articles d’une revue à fort facteur d’impact ne sont pas tous cités de manière identique.

En général, seul un petit nombre d’entre eux est souvent cité. D’après une étude de Maunoury:

“9 % des articles de Cell, 16 % de ceux des PNAS, 43 % de ceux d’Experimental Physiology et 52 % de ceux de l’European Journal of Pharmacology, publiés entre 1989 et 1993, n’ont jamais été cités”.

Il n’y a donc pas vraiment de corrélation entre la fréquence de citation d’un article et le facteur d’impact du périodique dans lequel il est publié.

Des inégalités entre disciplines et sous-disciplines

Le facteur d’impact n’est qu’un élément d’appréciation parmi d’autres. Notons d’abord que les articles qui rapportent des découvertes importantes - des faits entièrement nouveaux, ou des éléments impliquant une percée conceptuelle - ne sont pas nombreux ; ce sont eux que privilégient les revues généralistes, parce qu’ils sont susceptibles ”intéresser plusieurs communautés disciplinaires - et donc d’être davantage cités. Mais ils sont loin de constituer l’essentiel de la littérature scientifique : ce sont les analyses spécialisées qui, bien que de portée moins générale, permettent de vérifier ou d’infirmer le bien-fondé des percées conceptuelles, ou d’en préparer de nouvelles.

Les bonnes revues disciplinaires, même à moindre facteur d’impact, sont donc aussi importantes que les revues généralistes ; on ne peut pas se faire une opinion critique d’une question en ne se basant que sur les secondes.

La suite à lire là.