Remarques sur les indicateurs bibliométriques pour évaluer l’impact des publications

par Serge Bauin, Directeur de l’UNIPS - USP 78 - Direction des études et programmes du CNRS

Si l’on s’en tient aux chiffres et commentaires (1) fournis par l’OST, il n’y a pas de signal d’alarme concernant la place française dans les publications, alors que pour Pierre Le Hir, suivant Olivier Postel-Vinay (Le Monde, 12 mars 2003, La recherche française dans la spirale du déclin), «...l'impact de ces publications, autrement dit les citations obtenues dans d'autres articles, a faibli...»

Or, selon les interprétations de l'OST :

  • «La production scientifique française connaît une croissance significative depuis 1992, mais avec un impact stable.» - (Rapport OST 2002, page V)
  • «Les publications françaises sont globalement de plus en plus citées par la communauté scientifique internationale. » - (Rapport OST 2002, page VI) Ces deux citations viennent en introduction des commentaires des deux graphiques ci-après.

    Le premier montre un accroissement du poids mondial de la France en nombre de publications de 1985 à 1998 (palier pour 1999), passant de 4,2% à 5,2%.

    Le second montre une baisse de l’indice d’impact (nombre moyen de citations reçues par article normalisé à 1, moyenne mondiale) entre 1985 à 1987, passant de 1 à 0,95, qui oscille ensuite autour de cette dernière valeur.



    Que croire, «déclin» ou «crise» ?

    Une valeur d’impact relatif oscillant autour de 0,95 n’est certes pas brillante mais, pour voir un «déclin», il faut impérativement ne retenir qu'un seul indicateur, choisir comme point de départ l'année 85 et oublier de commenter les points intermédiaires. S'il s'agit de trouver une «crise de la recherche française» sur cet indicateur, elle a dû se situer au début des années 80 (2) au milieu des années 90, nous sommes dans une période de grand calme. S'il y a une chose à expliquer avant interprétation, ce que je ne sais pas faire, c’est l’évolution rapide entre 87 et 89 (en particulier, on aimerait bien voir s’il y avait eu un accroissement entre 83 et 85, ou alors si c’est la fin d’une descente...).

    Il faut noter que le choix des échelles verticales des deux graphes amplifie les variations, ce qui, pour le graphe sur l’impact, peut donner lieu à une lecture catastrophiste, alors même qu'on se sait vraiment pas interpréter de manière satisfaisante une variation de 0,05, dont on ne sait même pas dire si elle est à l'intérieur de la marge d'erreur. Le diagnostic de crise (ou de déclin) de la recherche française basé sur les indicateurs bibliométriques est erroné.

    Bibliographie

    1. Sur la question plus générale du bon usage des indicateurs et du diagnostic sur la recherche en France, voir l’article de Laurence Esterel «La recherche publique en France : plaidoyer pour un usage raisonné des indicateurs», l@ lettre de l’OST, N° 26, 2003, pp. 2-4, http://www.obs-ost.fr/pub/OST26_1.pdf
    2. OST, Science & Technologie, Indicateurs, Édition 2002, ECONOMICA
    3. Les publications rendent compte de travaux de recherche initiés plusieurs années auparavant.

    retour