Édition scientifique : plus d’articles, moins de sérieux

Olivier Monod Publié le
Édition scientifique : plus d’articles, moins de sérieux
Le "publish or perish" a des effets délétères sur la qualité des publications scientifiques. // ©  Lydie Lecarpentier / R.E.A
La course à la publication, dans laquelle sont entraînés bon nombre de chercheurs, fait une victime collatérale : la qualité de la production scientifique. Problèmes statistiques, revues peu crédibles ou essoufflement du "peer review"… EducPros a enquêté sur les raisons d’une telle dérive.

"Publish or perish." Cette quête frénétique de "la publi" a des effets sur leur qualité. Une situation qui a amené Curt Rice, vice-président recherche de l’université de Tromso en Norvège, à écrire en 2013 : "L’édition scientifique donne régulièrement le meilleur statut aux recherches qui sont le plus certainement fausses."

L’incompétence statistique

Les chercheurs, notamment en sciences du vivant ou en sciences humaines, n’ont pas forcément reçu de formation en statistiques. Dès lors, des recherches non significatives sont publiées et reprises par les médias. En 2013, Valen Johnson s’était penché sur la viabilité statistique des articles de sciences du vivant. Selon lui, 17 à 25% des articles présenteraient des résultats non significatifs au niveau statistique.

John Ioannidis, professeur à Stanford, fait un constat similaire dans son fameux "Pourquoi la plupart des découvertes publiées sont fausses". Il fustige depuis le manque de collaboration entre chercheurs et le fait que les personnes ne travaillent pas sur des échantillons suffisamment grands pour être représentatifs. Selon lui, 85% des investissements dans le domaine de la recherche biomédicale sont inutiles ! Il cible également la psychologie et l’économie comme "domaines trop accommodants".

Le manque de reproductibilité des recherches publiées a des conséquences. Une étude de mai 2011, publiée dans "Nature", avait démontré que le taux de succès des médicaments en phase 2 était passé de 28% en 2006/2007 à 18% en 2008/2010. Un résultat en partie dû au fait que les tests sont lancés sur la foi d’études qui s’avèrent inexactes ou impossibles à reproduire…

L’édition scientifique donne régulièrement le meilleur statut aux recherches qui sont le plus certainement fausses.
(C. Rice)

La prime au résultat positif

L’édition scientifique n’échappe pas aux phénomènes de mode et au désir d’être lu et repris. Pour être publié, mieux vaut avoir un résultat positif dans un secteur porteur. Les chercheurs ont tellement intégré cette règle que, dans la pharmacologie notamment, ils ne soumettent plus les résultats trop faibles ou contraires à ce qui est attendu.

Les médecins ne se basent donc pas sur l’ensemble des données pour prendre leur décision. Le phénomène n’est pas nouveau. En étudiant les données des essais de 33 médicaments acceptés aux États-Unis entre 2001 et 2002, des chercheurs américains se sont aperçus qu’un quart des résultats des essais n’avaient jamais été soumis à des revues de recherche.

Le deuxième effet pervers de cette autocensure vis-à-vis des résultats négatifs est l’impact sur les méta-analyses. Pour travailler sur des bases de données plus grandes, de plus en plus de chercheurs récoltent l’ensemble des résultats relatifs à un médicament, ou autre, et tirent des analyses statistiques à grande échelle. Mais quelle crédibilité apporter à cette démarche si la base de données est biaisée dès le départ ?

le grand détournement de l'open access

Comment un article signé Marge Simpson a-t-il pu être accepté comme "article de recherche" ? Parce que l’édition scientifique est un marché très rémunérateur. Dès lors, des revues se lancent pour l’argent et non plus pour diffuser du savoir. Ces "revues prédatrices" font partie des 10.000 revues disponibles en open access recensées par le Directory of Open Access Journals. Elles offrent simplement aux chercheurs de les publier contre de l'argent.

La revue "International Journal of Advanced Computer Technology" spammait ainsi régulièrement les chercheurs pour leur proposer ses services. Elle a donc reçu un article gag, "Get me off your fucking mailing list", qu'elle a accepté contre 150 dollars.

Les revues prédatrices détournent ainsi le mouvement de l’open access. L’idée de départ est belle : la recherche doit être gratuite et disponible pour tous immédiatement. Un paradigme d’autant plus important quand on sait le rôle des associations de malades dans la recherche médicale et le rôle des start-up dans l’industrialisation des résultats de recherche. Pour assurer leur modèle économique, certaines revues proposent de faire payer le chercheur qui dépose un article, pas celui qui veut le lire. Une solution qui est d’ailleurs défendue par l’Académie des sciences.

Mais, si des revues ont acquis une certaine notoriété dans le foisonnement existant, beaucoup ne méritent aucune crédibilité. Pour le démontrer, un journaliste de "Science" a ainsi réussi à faire accepter un faux article de sa main dans 157 revues. Ironie de l’histoire, de nombreux chercheurs ont pointé du doigt l’absence de témoin négatif dans la démonstration de "Science". Le journaliste n’a pas proposé son article à des revues classiques, son approche est donc peu qualitative. Mais elle a été publiée par "Science"…

Comment un article signé Marge Simpson a-t-il pu être accepté comme "article de recherche" ?

L’essoufflement du peer review

Comment en est-on arrivé là ? Normalement, avec le système de revue par les pairs, l’éditeur envoie un projet de publication à des relecteurs spécialistes du domaine qui donnent leur avis sur la qualité de la recherche et les modifications éventuelles à apporter pour accéder à la publication. Mais la multiplication des publications (près de 30.000 titres), des titres et des soumissions a fait exploser le système.

Pour s’en convaincre, il suffit de suivre l’actualité du blog "Retraction Watch", qui guette tous les articles retirés a posteriori par les grands journaux.

En février 2014, les éditeurs Springer et IEEE (Institute of Electrical and Electronics Engineers) ont retiré d’un coup 120 actes de colloques publiés dans leurs pages.

Les colloques en question n’avaient jamais eu lieu et les actes avaient été générés par ordinateur… C'est Cyril Labbé, chercheur en informatique à l’université Joseph-Fourier de Grenoble, qui a levé le lièvre. "Je travaillais sur un outil automatique de détection des faux articles. En le faisant tourner sur des bases payantes de grands éditeurs, j'ai eu plusieurs réponses. C'est un problème car ces bases servent pour l'évaluation des chercheurs et la mesure de leur taux de publication, de leur indice de Hirsch (un indice d’évaluation de la quantité et de la qualité de la production scientifique). Elles sont censées être propres mais ne sont visiblement même pas relues !"

Les sciences sociales ne sont pas épargnées. La récente polémique autour de la revue "Société", de Michel Maffesoli, relance aussi la question du peer review. Deux sociologues ont écrit un faux article basé sur rien, sous un faux nom inexistant, et l’article a été publié. Le directeur de la revue s’est justifié ainsi : "J’ai commis l’erreur d’avoir laissé publier cet article, qui n’avait été relu que par une personne qui avait émis un avis favorable, avec réserves sur sa publication (le deuxième avis, défavorable, étant arrivé après bouclage)." 

Entre leurs enseignements, leur recherche de fonds et leurs travaux, les chercheurs ne semblent ainsi plus avoir le temps pour nourrir un système de peer review de qualité capable de traiter le volume d’articles produits.

Le gênant monsieur Voinnet
Olivier Voinnet, chercheur français très reconnu dans le domaine de la biologie moléculaire végétale, est sous le coup d’une enquête de la part de ses deux institutions de rattache, le CNRS et l’École polytechnique fédérale de Zurich. Les premières critiques sur ses travaux ont été émises sur le site anonyme de discussions scientifiques PubPeer depuis plusieurs mois. Les internautes pensent qu’Olivier Voinnet a manipulé ses données.

Les accusations prennent de l’épaisseur quand Vicky Vance, de l’université de Caroline du Sud, affirme avoir plusieurs fois relu une recherche d'Olivier Voinnet pour différentes revues. La chercheuse fait état de manquement dans ces travaux et leur a donné une mauvaise note. Mais Olivier Voinnet a continué à les proposer à des revues jusqu’à ce que l’une d’entre elles accepte de les publier contre l’avis de Vicky Vance. Olivier Voinnet, lui, a décidé de garder le silence. Reste maintenant à attendre les résultats des enquêtes du CNRS et de l’EPFZ.

Olivier Monod | Publié le