Faut-il bannir ChatGPT du monde de la recherche ?

Charlotte Mauger Publié le
Faut-il bannir ChatGPT du monde de la recherche ?
ChatGPT peut-il aider le monde de la recherche ou au contraire lui nuire ? // ©  Rokas/Adobe Stock
ChatGPT : allié ou ennemi des chercheurs ? La réponse n’est pas si manichéenne. Un modèle de langue peut rendre certaines tâches plus simples, tant qu’il est utilisé comme une source d’aide perfectible. Les chercheurs vont-ils un jour utiliser ChatGPT comme appui à la rédaction de leurs travaux et articles de recherche ?

Le 16 décembre 2022, la revue Nurse Education in Practice publie un article sur son site. En apparence rien d’anormal, l’article traite de l’utilisation de l’intelligence artificielle dans les études en soins infirmiers. Pourtant aux côtés du nom de la chercheuse britannique Siobhan O’Connor, apparaît celui de ChatGPT. Que fait-il ici ? "L’utilisation de cet outil par un chercheur ou une chercheuse n’est pas différente de celle d’une autre personne : paraphraser, traduire, résumer…", annonce Teven Le Scao, chercheur au Loria et chez Hugging Face, spécialisé en modèle de langue.

"Si on demande à ChatGPT de rédiger un article de recherche, il pourrait le faire de façon convaincante", assure Teven Le Scao. Une aubaine pour une personne peu honnête dans un monde aussi compétitif que celui de la recherche. "Il y a une crainte qu’il y ait énormément de papiers générés : pour avoir plus de citations ou simplement pour s’amuser à voir si un tel article pourrait être publié", convient Rachel Bawden, chercheuse à Inria spécialisée dans le traitement automatique des langues.

L'usage de ChatGPT, contraire aux principes de publication de recherche

Or cela est contraire aux principes derrière une publication. "Cela pose des problèmes de fiabilité des arguments avancés et de réplicabilité des résultats", prévient Dominique Boullier, professeur de sociologie à Science po Paris et spécialiste des usages du numérique.

Si on demande à ChatGPT de rédiger un article de recherche, il pourrait le faire de façon convaincante. (T. Le Scao, chercheur)

Faut-il pour autant le bannir en prévision de telles dérives ? Déjà, cela s’avèrerait très difficile. Il faudrait alors être en mesure d’identifier avec certitude qu’un texte a été produit par un modèle de langue. Or, les outils actuels ne sont pas toujours en mesure de trouver l’auteur d’un texte - surtout s’il a été par la suite modifié par un humain.

Mais surtout, ce serait occulter l’aide qu’il peut apporter. "C’est par exemple un outil intéressant pour les non-anglophones, soutient Rachel Bawden. Pour un anglophone natif, il est souvent très facile de reconnaître que l’article n’a pas été écrit par un anglophone. Or un anglais de mauvaise qualité peut diminuer l’impact du travail de recherche, surtout s’il rend l’article difficile à comprendre."

Les modèles de langues peuvent donc aider des chercheurs dans leur rédaction en langue anglaise. Ces modèles peuvent générer un code informatique, reformuler un passage, trouver un titre ou rédiger un abstract de façon convaincante. Dans une pré-publication déposée sur le site bioRXiv, la chercheuse Catherine Gao de l’université Northwestern et ses collègues ont généré les abstracts de 50 articles de recherche avec ChatGPT et ont demandé à des chercheurs et chercheuses de les retrouver. Dans 32% des cas, la patte de l’IA n’a pas été reconnue.

Utiliser ChatGPT en connaissance de ses limites

Une pratique honnête tient aussi à l’utiliser en toute connaissance de ses limites. Même si ce qu’écrit ce chatbot ressemble à un texte "humain", il y a un risque que des erreurs se glissent dans ses lignes. Il a tendance à mélanger des citations, à renvoyer des choses fausses, à ne pas citer ses sources et, quand il le fait, à inventer des références ou des auteurs.

Il est important de savoir faire les choses mieux que la machine, ainsi on peut l’utiliser et détecter la moindre erreur. (R. Bawden, Inria)

"Il est important de savoir faire les choses mieux que la machine, ainsi on peut l’utiliser et détecter la moindre erreur", prévient Rachel Bawden. Il ne faut pas se reposer sur l’aspect convaincant, et au contraire privilégier son esprit critique. "Les chercheurs et chercheuses sont formés à ne pas faire de raccourci quand ils doivent trouver une réponse. Or la génération de texte tend à favoriser les réflexions courtes et rapides pour obtenir cette réponse", analyse Dominique Boullier. "Si ces outils s’améliorent dans le futur, cela peut poser des problèmes pour notre capacité à raisonner", ajoute Rachel Bawden.

Une vigilance sur la collecte de données de recherche

Une autre vigilance à garder en tête : celle des données récoltées. "Comme ce qui se passe pour les réseaux sociaux, nous contribuons à entraîner ces modèles", prévient Dominique Boullier. Or, quand certaines données sont sensibles, il serait bon qu’elles ne soient pas collectées. Cette petite révolution des chatbots oblige en tout cas les acteurs du monde de la recherche à fournir leurs directives d’utilisation.

L’Association de Linguistique Computationnelle (Association for Computational Linguistics, ACL), qui organise des conférences, déconseille de s’aider d’un modèle de langue pour un nouveau texte sur de nouvelles idées. Également, au mois de janvier la revue Nature s’est positionnée : l’utilisation de ChatGPT n’est pas prohibée, elle doit être mentionnée mais pas parmi les auteur(e)s. "Cette recommandation est naturelle : l’auteur doit endosser la responsabilité et pouvoir être contacté. ChatGPT ne répond pas à ces critères", justifie Teven Le Scao.

Pour l’instant, ChatGPT reste marginal dans le monde de la recherche. Comme le souligne Rachel Bawden : "Je ne crois pas avoir rencontré un article écrit avec ce chatbot. Mais si c’était le cas, je regarderais sûrement les références plus en détail. Même si s’aider de ChatGPT ne me pose pas de problème, je me méfierais certainement un peu plus."

Charlotte Mauger | Publié le