Newsletter

Édition scientifique : plus d’articles, moins de sérieux

Olivier Monod
Publié le
Envoyer cet article à un ami
Le "publish or perish" a des effets délétères sur la qualité des publications scientifiques.
Le "publish or perish" a des effets délétères sur la qualité des publications scientifiques. // ©  Lydie Lecarpentier / R.E.A

La course à la publication, dans laquelle sont entraînés bon nombre de chercheurs, fait une victime collatérale : la qualité de la production scientifique. Problèmes statistiques, revues peu crédibles ou essoufflement du "peer review"… EducPros a enquêté sur les raisons d’une telle dérive.

Sommaire du dossier

  • Édition scientifique : plus d’articles, moins de sérieux
  • "Publish or perish." Cette quête frénétique de "la publi" a des effets sur leur qualité. Une situation qui a amené Curt Rice, vice-président recherche de l’université de Tromso en Norvège, à écrire en 2013 : "L’édition scientifique donne régulièrement le meilleur statut aux recherches qui sont le plus certainement fausses."

    L’incompétence statistique

    Les chercheurs, notamment en sciences du vivant ou en sciences humaines, n’ont pas forcément reçu de formation en statistiques. Dès lors, des recherches non significatives sont publiées et reprises par les médias. En 2013, Valen Johnson s’était penché sur la viabilité statistique des articles de sciences du vivant. Selon lui, 17 à 25% des articles présenteraient des résultats non significatifs au niveau statistique.

    John Ioannidis, professeur à Stanford, fait un constat similaire dans son fameux "Pourquoi la plupart des découvertes publiées sont fausses". Il fustige depuis le manque de collaboration entre chercheurs et le fait que les personnes ne travaillent pas sur des échantillons suffisamment grands pour être représentatifs. Selon lui, 85% des investissements dans le domaine de la recherche biomédicale sont inutiles ! Il cible également la psychologie et l’économie comme "domaines trop accommodants".

    Le manque de reproductibilité des recherches publiées a des conséquences. Une étude de mai 2011, publiée dans "Nature", avait démontré que le taux de succès des médicaments en phase 2 était passé de 28% en 2006/2007 à 18% en 2008/2010. Un résultat en partie dû au fait que les tests sont lancés sur la foi d’études qui s’avèrent inexactes ou impossibles à reproduire…

    L’édition scientifique donne régulièrement le meilleur statut aux recherches qui sont le plus certainement fausses.
    (C. Rice)

    La prime au résultat positif

    L’édition scientifique n’échappe pas aux phénomènes de mode et au désir d’être lu et repris. Pour être publié, mieux vaut avoir un résultat positif dans un secteur porteur. Les chercheurs ont tellement intégré cette règle que, dans la pharmacologie notamment, ils ne soumettent plus les résultats trop faibles ou contraires à ce qui est attendu.

    Les médecins ne se basent donc pas sur l’ensemble des données pour prendre leur décision. Le phénomène n’est pas nouveau. En étudiant les données des essais de 33 médicaments acceptés aux États-Unis entre 2001 et 2002, des chercheurs américains se sont aperçus qu’un quart des résultats des essais n’avaient jamais été soumis à des revues de recherche.

    Le deuxième effet pervers de cette autocensure vis-à-vis des résultats négatifs est l’impact sur les méta-analyses. Pour travailler sur des bases de données plus grandes, de plus en plus de chercheurs récoltent l’ensemble des résultats relatifs à un médicament, ou autre, et tirent des analyses statistiques à grande échelle. Mais quelle crédibilité apporter à cette démarche si la base de données est biaisée dès le départ ?

    le grand détournement de l'open access

    Comment un article signé Marge Simpson a-t-il pu être accepté comme "article de recherche" ? Parce que l’édition scientifique est un marché très rémunérateur. Dès lors, des revues se lancent pour l’argent et non plus pour diffuser du savoir. Ces "revues prédatrices" font partie des 10.000 revues disponibles en open access recensées par le Directory of Open Access Journals. Elles offrent simplement aux chercheurs de les publier contre de l'argent.

    La revue "International Journal of Advanced Computer Technology" spammait ainsi régulièrement les chercheurs pour leur proposer ses services. Elle a donc reçu un article gag, "Get me off your fucking mailing list", qu'elle a accepté contre 150 dollars.

    Les revues prédatrices détournent ainsi le mouvement de l’open access. L’idée de départ est belle : la recherche doit être gratuite et disponible pour tous immédiatement. Un paradigme d’autant plus important quand on sait le rôle des associations de malades dans la recherche médicale et le rôle des start-up dans l’industrialisation des résultats de recherche. Pour assurer leur modèle économique, certaines revues proposent de faire payer le chercheur qui dépose un article, pas celui qui veut le lire. Une solution qui est d’ailleurs défendue par l’Académie des sciences.

    Mais, si des revues ont acquis une certaine notoriété dans le foisonnement existant, beaucoup ne méritent aucune crédibilité. Pour le démontrer, un journaliste de "Science" a ainsi réussi à faire accepter un faux article de sa main dans 157 revues. Ironie de l’histoire, de nombreux chercheurs ont pointé du doigt l’absence de témoin négatif dans la démonstration de "Science". Le journaliste n’a pas proposé son article à des revues classiques, son approche est donc peu qualitative. Mais elle a été publiée par "Science"…

    Comment un article signé Marge Simpson a-t-il pu être accepté comme "article de recherche" ?

    L’essoufflement du peer review

    Comment en est-on arrivé là ? Normalement, avec le système de revue par les pairs, l’éditeur envoie un projet de publication à des relecteurs spécialistes du domaine qui donnent leur avis sur la qualité de la recherche et les modifications éventuelles à apporter pour accéder à la publication. Mais la multiplication des publications (près de 30.000 titres), des titres et des soumissions a fait exploser le système.

    Pour s’en convaincre, il suffit de suivre l’actualité du blog "Retraction Watch", qui guette tous les articles retirés a posteriori par les grands journaux.

    En février 2014, les éditeurs Springer et IEEE (Institute of Electrical and Electronics Engineers) ont retiré d’un coup 120 actes de colloques publiés dans leurs pages.

    Les colloques en question n’avaient jamais eu lieu et les actes avaient été générés par ordinateur… C'est Cyril Labbé, chercheur en informatique à l’université Joseph-Fourier de Grenoble, qui a levé le lièvre. "Je travaillais sur un outil automatique de détection des faux articles. En le faisant tourner sur des bases payantes de grands éditeurs, j'ai eu plusieurs réponses. C'est un problème car ces bases servent pour l'évaluation des chercheurs et la mesure de leur taux de publication, de leur indice de Hirsch (un indice d’évaluation de la quantité et de la qualité de la production scientifique). Elles sont censées être propres mais ne sont visiblement même pas relues !"

    Les sciences sociales ne sont pas épargnées. La récente polémique autour de la revue "Société", de Michel Maffesoli, relance aussi la question du peer review. Deux sociologues ont écrit un faux article basé sur rien, sous un faux nom inexistant, et l’article a été publié. Le directeur de la revue s’est justifié ainsi : "J’ai commis l’erreur d’avoir laissé publier cet article, qui n’avait été relu que par une personne qui avait émis un avis favorable, avec réserves sur sa publication (le deuxième avis, défavorable, étant arrivé après bouclage)." 

    Entre leurs enseignements, leur recherche de fonds et leurs travaux, les chercheurs ne semblent ainsi plus avoir le temps pour nourrir un système de peer review de qualité capable de traiter le volume d’articles produits.

    Le gênant monsieur Voinnet
    Olivier Voinnet, chercheur français très reconnu dans le domaine de la biologie moléculaire végétale, est sous le coup d’une enquête de la part de ses deux institutions de rattache, le CNRS et l’École polytechnique fédérale de Zurich. Les premières critiques sur ses travaux ont été émises sur le site anonyme de discussions scientifiques PubPeer depuis plusieurs mois. Les internautes pensent qu’Olivier Voinnet a manipulé ses données.

    Les accusations prennent de l’épaisseur quand Vicky Vance, de l’université de Caroline du Sud, affirme avoir plusieurs fois relu une recherche d'Olivier Voinnet pour différentes revues. La chercheuse fait état de manquement dans ces travaux et leur a donné une mauvaise note. Mais Olivier Voinnet a continué à les proposer à des revues jusqu’à ce que l’une d’entre elles accepte de les publier contre l’avis de Vicky Vance. Olivier Voinnet, lui, a décidé de garder le silence. Reste maintenant à attendre les résultats des enquêtes du CNRS et de l’EPFZ.

    Olivier Monod | Publié le

    Vos commentaires (4)

    Nouveau commentaire
    Annuler
    * Informations obligatoires
    Tarek Abdellatif.

    Je trouve que ce sujet est l'un des grands problèmes de la recherche. En effet, l'évolution des carrières est basée sur les publications. Les revues profitent des besoins des chercheurs. A mon sens, faut il changer les normes des évaluations. Doit on se baser que sur le nombre des citations et sur l'indice H pour faciliter le changement de carrières et pour devenir HDR et/ou Professeur des universités. Certains le sont alors que leur indice H ressemble à celui d'un jeune chercheur ... Laisser faire pour les publications OPEN ACCESS et laisser le marché s’auto-nettoyer mais viser que les citations et l'indice H.

    iznogoud.

    Ces revues "prédatrices" ne sont pas lues, donc les articles ne sont pas cités. Si les promotions dépendaient des citations, donc du H, personne n'aurait intérêt à publier dans ces revues, et elles n'auraient plus de client. CQFD Je connais des profs qui ont une liste de publications longue comme deux bras, obtenues en 30 ans de carrière, et qui ont eu de belles promotions, mais dont le H est quasi nul...Les revues "de chapelle" sont dans le même cas depuis très longtemps: elles sont lues par la chapelle, qui a "open access" pour y publier, et pratiquement pas citées ailleurs sauf "entre nous". Le programme "publish or perish" (PoP), à cet égard, est un bon révélateur de ces impostures en permettant de voir le H de n'importe qui...que de surprises !

    walsdorff.

    "Comment un article signé Marge Simpson a-t-il pu être accepté comme "article de recherche" ? C'est aussi la preuve qu'en dépit des sempiternels glapisseurs incapables de publier dans les revues où ils rêveraient d'être enfin, eux, publiés, certains "peer reviews" n'attachent aucun intérêt à l'auteur du texte. C'est une excellente nouvelle, en l'occurrence, Et en l'occurrence, l'exemple est particulièrement mal choisi. Et n'est-ce-pas vers ces revues que nous lisons en priorité chaque fois que nous entrons dans une salle de lecture ?

    iznogoud.

    Je préfère un bon article de Marge Simpson qu'un mauvais article d'une célébrité universitaire. Au fait, c'est quoi le H de Marge Simpson, à force de la citer partout sur internet ?

    From Morocco.

    Fabien, il y a du vrai dans ce que vous venez dire, MAIS il ne faut pas oublier que le vrai danger de ces revues prédatrices dépasse les limites … peer review inexistant/fabriqué, pseudoscience … (http://scholarlyoa.com/). En majorité, les francophones ne sont pas informé: Quand vous faite une recherche Google "predatory journals" il y a environ 14 500 résultats/contre 1020 pour "revues prédatrices"; si vous limiter la recherche de cette dernière il n’y a que "Rédaction Médicale et Scientifique" et le présent article qui en parle!!

    Fabien.

    À noter également que l'enquête publiée dans Science a épinglé bon nombre de revues Open Access appartenant à des éditeurs classiques (Elsevier, Springer,...) jouant sur les deux tableaux. Au final, l'étude qui se voulait quelque part une défense du système classique en a révélé le cynisme des principaux acteurs éditoriaux dont la préoccupation principale n'est pas nécessairement la qualité des publications.