Un système presque équitable sous pression

De la recherche sans évaluation par les pairs? Presque inimaginable aujourd’hui. Pourtant, la procédure n’existe pas depuis si longtemps: jusqu’au début du XXe siècle, la communauté scientifique, encore petite, publiait en général ce qu’elle-même jugeait digne de l’être et les fonds attribués à la recherche relevaient davantage du mécénat et du népotisme que d’une procédure indépendante. Ce n’est qu’après la Seconde Guerre mondiale que les organismes étatiques d’encouragement, encore jeunes à l’époque, commencèrent à utiliser le peer review – notamment la Fondation allemande pour la recherche (DFG) ou la Fondation nationale pour la science (NSF) aux Etats-Unis.

Certes, auparavant déjà, le choix des projets qui seraient financés revenait souvent à un comité d’expertes. Mais ce n’est qu’avec l’évaluation par les pairs que des procédures et des critères d’évaluation clairs ont été établis et que les projets ont été sélectionnés sur la base de leur qualité et de leur pertinence, indépendamment de tout intérêt personnel. «Cela a bien fonctionné pour un temps», explique Stephen Gallo, qui a notamment étudié ces procédures à l’American Institute of Biological Sciences. Il relève un autre avantage du système: quand une demande de financement est rejetée, les expertes justifient leur décision et formulent en général des recommandations pour améliorer le projet de recherche et la requête. «Cela permet en particulier aux jeunes scientifiques d’apprendre quelque chose pour la fois suivante.»

Mais ce système est aujourd’hui sous pression. Au cours des dernières décennies, l’infrastructure de recherche s’est développée dans le monde entier, et avec elle, le nombre de chercheuses et de requêtes pour des projets – plus rapidement que les fonds des institutions de financement, explique Stephen Gallo. Par conséquent, une part de plus en plus faible des propositions est financée. «Longtemps, les évaluatrices pouvaient choisir entre les bonnes et les mauvaises requêtes. Aujourd’hui, il leur faut souvent choisir entre des projets remarquables et des projets excellents.»

Ainsi, le risque de voir l’évaluation devenir plus partiale et conservatrice s'accroît, comme le montrent des études. Les expertes ont tendance à accorder plus de valeur à une solide méthodologie qu’à des approches passionnantes et à privilégier les chercheurs masculins et ceux issus d’universités de renom. Les organismes d’encouragement tentent de désamorcer cette évolution de diverses manières. Pour Stephen Gallo, il est évident que «l’évaluation par les pairs fonctionnera mieux dès que les fonds pour les subventions ne seront plus aussi limités».

On donnera à celui qui a

Trois millions de dollars US, pas moins – c’est le montant que touche celui ou celle qui gagne le prix du magazine Science pour la percée de l’année. D’autres distinctions sont également généreusement dotées: de 2,5 millions d’euros par personne pour le prix Spinoza aux Pays-Bas et de 1,2 million de dollars US pour les prix Shaw décernés à Hong Kong. Il existe en outre de nombreux prix d’un montant moyen ou moins important. Ici aussi, les décisions sont prises par peer review – toutefois, l’évaluation ne porte pas sur des projets à venir mais sur des succès scientifiques acquis. «L’argent de ces prix doit donner une certaine liberté scientifique aux chercheuses novatrices et productives», explique le spécialiste de l’évaluation par les pairs Stephen Gallo. Il existe aussi des programmes de soutien à la progression de carrière pour lesquels les scientifiques doivent remplir diverses conditions touchant notamment aux titres obtenus, au sexe, à l’âge, au nombre d’années consacrées à la recherche ou encore à la fonction dans l’université.

Les subventions non liées à un projet permettent aux chercheurs de prendre certains risques. Si une idée ne fonctionne pas, ils peuvent vite rectifier le tir si besoin. «C’est plus proche du fonctionnement réel de la recherche que l’encouragement de projets à court terme, comparativement plus rigide», note Stephen Gallo.

Il est aussi intéressant de constater que les prix s’avèrent être plus qu’un encouragement individuel: les domaines primés, comparés à d’autres, attirent plus de 35% de scientifiques supplémentaires et génèrent 40% de publications de plus.

Le revers de la médaille: l’énorme partialité, selon Stephen Gall. Souvent, les prix bien dotés ou les programmes de carrière réputés vont à des scientifiques produisant beaucoup, qui ont donc déjà pu obtenir des subventions auparavant. Ce type d’encouragement implique donc en soi une inégalité des chances: celle qui a réussi une fois réussira à nouveau. Et cela, plutôt sur la base de ses succès passés que de réussites actuelles.

Quand le hasard décide

Un concours équitable offre les mêmes chances à toutes et à tous, n’est-ce pas? Comme lors de tirages au sort. Et certains organismes d’encouragement, dont le Fonds national suisse (FNS), recourent effectivement au hasard dans la procédure d’évaluation des requêtes. Et ce, précisément là où le peer review atteint ses limites. Cela peut, d’une part, être le cas de la créativité. En effet, plus les candidates et candidats sont nombreux à se disputer une subvention, plus l’évaluation par les pairs devient conservatrice. Pour y remédier, certains organismes de soutien recourent au tirage au sort, à l’exemple du Fonds autrichien pour la science dans son programme «1000 idées». Ici, douze projets sont d’abord choisis par peer review, puis douze autres sont tirés au sort parmi les requêtes restantes de bonne qualité.

D’autre part, ce système de loterie est censé minimiser les préjugés fondamentaux. «Un tel biais peut plutôt s’insinuer lorsque les requêtes évaluées sont qualitativement proches les unes des autres», explique James Wilsdon, directeur du Research on Research Institute de l’University College London. Il a étudié ces procédures aléatoires. Les décisions sont effectivement parfois extrêmement serrées, estime aussi Marco Bieri, collaborateur scientifique au FNS: «En termes de qualité, les critères d’évaluation ne permettent parfois pas de départager certaines requêtes.»

Marco Bieri a dirigé un essai pilote où le FNS a testé une procédure de tirage au sort entre des cas aussi serrés dans le cadre de l’instrument d’encouragement Postdoc Mobility. En !&!#, le FNS a introduit la méthode pour tous ses instruments – une première mondiale pour un organisme d’encouragement. Mais le hasard n’intervient, tant s’en faut, pas systématiquement. «C’est simplement une option pour les cas où il n’est pas possible de départager qualitativement les requêtes parmi un groupe de projets à la limite du niveau de financement», explique Marco Bieri. Jusqu’à présent, le FNS a tiré au sort 4,5% des demandes.

Mais une telle procédure aléatoire partielle rend-elle vraiment l’évaluation plus équitable? James Wilsdon reste prudent: «Les premières études nous ont permis de déceler au moins certains indices qu’il en va ainsi, oui.»

Rien que l’idée

Saviez-vous que 30% des meilleurs travaux des récipiendaires des prix Nobel de médecine ou de chimie n’ont pas été financés par des organismes d’encouragement? Cela, parce qu’il s’agissait dans la plupart des cas d’idées qui remettaient en question les conceptions courantes, ne s’appuyaient pas encore sur des données scientifiques et utilisaient des méthodes non encore éprouvées. «Pour les organismes d’encouragement, il s’agit d’une recherche risquée, car elle risque de ne pas aboutir», dit Vanja Michel, collaborateur scientifique au Fonds national suisse (FNS).

Toutefois, ces dernières années, divers organismes d’encouragement ont identifié les faiblesses de cette prudence et s’y sont confrontés. Ainsi, aux Etats-Unis, les National Institutes of Health (NIH) ont introduit en 2004 déjà le Director’s Pioneer-Award. Ils octroient généreusement pour cinq ans 700 000 dollars par an de manière ciblée à des scientifiques de la relève pour des idées téméraires. Les personnes qui postulent ne doivent pas fournir de données provenant d’études préliminaires, mais montrer qu’elles sont exceptionnellement créatives et novatrices.

Les ERC Starting Grants du Conseil européen de la recherche poursuivent des fins analogues. Au FNS, l’instrument Spark sert depuis 2019 à financer des projets de recherche non conventionnels. Les requérants n’ont besoin que d’un doctorat ou de trois ans d’expérience dans la recherche. L’évaluation s’effectue dans le cadre d’une procédure en double aveugle: non seulement les experts, mais aussi les requérants sont anonymisés – identité, sexe, âge et institution de recherche ne sont pas dévoilés.

«Ainsi, seule compte l’idée de recherche», explique Vanja Michel, responsable de Spark. La première année, il s’est avéré que la majorité des requérants avait moins de 40 ans, que 70% n’occupaient pas de chaire de professeur et que 80% avaient demandé des subsides au FNS pour la première fois. «Nous avons vu que les jeunes chercheurs pouvaient facilement imposer leurs idées face aux plus expérimentés», note Vanja Michel. Avec jusqu’à 100 000 francs au maximum pour douze mois, l’encouragement par ce programme n’est certes pas énorme, concède-t-il, mais il est décisif en tant que premier coup de pouce pour une idée qui, sinon, serait restée sans suite.

Ce qui plaît au public

Des t-shirts produits avec du plastique recyclé de la mer, l’observation d’élans en Alaska ou même une thérapie pour une forme rare de cancer des os chez les enfants: voilà quelques-uns des projets qui collectent des fonds sur la plateforme suisse de financement participatif Wemakeit – la plupart du temps avec succès. Parce qu’il faut le mentionner avant: ce type de financement arrive en tête pour le taux de réussite. Pas moins de 65% des projets scientifiques de crowdfunding présentés sur Wemakeit atteignent leur objectif de financement, soit un taux de succès bien supérieur aux moyens d’encouragement traditionnels. Ce taux se situe par exemple entre 20 et 30% pour les demandes auprès des organismes traditionnels de financement britanniques ou américains.

Les projets de financement participatif sont toutefois souvent relativement petits. Les montants visés s’élèvent en moyenne à un peu plus de 12 000 francs. «Le nombre de projets portant sur la durabilité environnementale et sociale et visant à donner accès à la science au grand public est particulièrement élevé», observe Graziella Luggen, directrice adjointe de Wemakeit.

Il existe donc une sorte de biais dans les projets de crowdfunding: ce sont les sujets connus et qui tiennent à coeur qui ont des chances d’aboutir. Alors que sur les grandes plateformes telles que Kickstarter ou Indiegogo, on trouve principalement des projets techniques orientés vers la production. Pour les projets traditionnels de recherches, Experiment.com constitue une option permettant de demander un soutien financier au public du monde entier. Et cela peut fonctionner: jusqu’à présent, près de 1200 projets scientifiques y ont recueilli plus de 11 millions de dollars. Toutes les possibilités de financement participatif ont en commun de permettre de développer également une communauté.

Conclusion: comparé au volume total de l’encouragement de la recherche, le crowdfunding est certes du menu fretin – mais une alternative pour financer par exemple une idée complémentaire d’un projet plus important ou pour démarrer avec un prototype.

La petite assistante numérique

Une chose est évidente: l’évaluation par les pairs traditionnelle doit faire face à un nombre toujours plus important de requêtes. Alors quoi de plus logique que de recourir à l’intelligence artificielle? On trouve effectivement sur Internet de nombreuses instructions expliquant comment les expertes peuvent par exemple utiliser ChatGPT pour évaluer plus efficacement les requêtes.

Cela a suscité des controverses, surtout aux Etats-Unis. «Lors de l’évaluation des requêtes pour le soutien de projets, il est important que la confidentialité soit assurée», souligne le chercheur sur le peer review Stephen Gallo. Or, celle ou celui qui, pour se faire aider, introduit dans ChatGPT des textes extraits de ces demandes pourrait violer cette confidentialité. «A ma connaissance, il n’y a pas encore d’étude pour déterminer si c’est le cas ou quelle influence l’aide du chatbot a sur l’évaluation. Il serait passionnant de le découvrir», note le spécialiste. Entre-temps, la Fondation nationale pour la science (NSF), le grand organisme d’encouragement aux Etats-Unis, a interdit à ses expertes d’utiliser ce chatbot et d’autres institutions ont édicté des directives à ce sujet.

Il en va autrement lorsque les organismes de financement utilisent une IA en interne, sans que les données ne soient transmises. C’est ce que ces organismes expérimentent à diverses étapes de l’évaluation par les pairs. Certains font appel à l’intelligence artificielle pour écarter les pires requêtes alors que d’autres s’en servent pour identifier des mots clés dans les requêtes et les publications afin de trouver les expertes adéquates pour l’évaluation. Ce procédé est aussi utilisé pour l’instrument Spark du Fonds national de la recherche (FNS).

Toutefois, l’équipe du Spark vérifie chaque fois les désignations de l’IA et doit fréquemment la désavouer, explique son responsable Vanja Michel. D’autres organismes se préparent à recourir à l’IA. Par exemple la Fondation allemande pour la recherche (DFG) qui, dans un projet pilote, évalue dans quelle mesure elle entend s’adjoindre une aide numérique pour vérifier les formulaires de demandes ou si les demandes sont admissibles. La grande institution d’encouragement de la recherche américaine, la NSF, n’utilise encore pas non plus l’IA, mais veut élaborer une stratégie adéquate d’ici à la fin de l’année. Toutefois, l’idée que des outils intelligents puissent évaluer tout seuls les requêtes n’est, pour l’heure, pas considérée comme une option sérieuse.

Illustrations: Arbnore Toska