Chat-GPT évalue ces articles comme «leaders mondiaux» et «excellents au niveau international». | Photo: màd

Les chatbots supplantent toujours plus les moteurs de recherche classiques comme sources d’information. C’est problématique, montre une étude des universités de Sheffield (GB) et de Turku (FL) parue dans «Learned Publishing». ChatGPT 4o-mini n’a détecté aucune erreur grave dans les 217 sscientifiques rétractés qu’il devait évaluer.

Les scientifiques avaient sélectionné les articles dans la base de données du blog Retraction Watch. Leurs critères: que les articles aient bénéficié d’une grande attention de la part du public, mesurée par un score Altmetric élevé, et que les problèmes étaient connus.

L’IA a évalué 30 fois la qualité de chaque article, mais sans mentionner une seule fois qu’ils avaient été rétractés. Au contraire: 190 de ces articles ont même reçu des éloges tels que «leaders mondiaux», «excellents au niveau international» ou proches de ces superlatifs. Même lorsque l’équipe a testé des affirmations scientifiques isolées, réfutées de longue date, le chatbot les a encore jugées correctes dans plus de la moitié des cas.

L’étude a provoqué des réactions diverses. «Que représente une rétraction pour un LLM à part un simple token de plus? Il serait surprenant qu’une théorie de la connaissance, a fortiori une théorie sociale de la connaissance, fasse partie de ses spécifications», commente ainsi sur Bluesky Elizabeth-Marie Helms des bibliothèques de l’Université de l’Indiana. Dans «Chemical and Engineering News», Debora Weber-Wulff, informaticienne à l’Université des sciences appliquées de Berlin, doute de la méthodologie suivie par l’étude. De son avis, la faute incombe au système scientifique lui-même: «Il est aussi très difficile pour les humains de déterminer si un article a été rétracté. Cela, à cause des réticences des revues et des universités à les signaler correctement.»