On s'interroge souvent sur les raisons pour lesquelles des villes telle Montréal obtiennent de bonnes évaluations. Désormais, c'est l'évaluation des projets scientifiques qui retient l'attention de la recherche. | Image : Anthony Gerace

La revue allemande des sciences de la vie Laborjournal a récemment osé une expérience de réflexion: que se passerait- il si ce n’étaient pas les scientifiques qui sollicitaient des fonds auprès des organismes d’encouragement, mais si, au contraire, ces derniers devaient se battre pour savoir quelles chercheuses prometteuses elles auraient le droit de soutenir?

Si la question n’était pas vraiment sérieuse, elle montre à quel point le monde scientifique est prêt à remettre en question le statu quo en matière d’encouragement de la recherche. Qu’il est à réformer fait désormais l’unanimité, y compris au sein des organisations d’encouragement. Mais comment? Les espoirs reposent sur la recherche elle-même: la research on research, qui doit montrer la voie de l’avenir.

Bibliométrie, crise de la réplication et flot de publications

En résumé, le malaise dans les sciences se concentre sur trois domaines. Le plus important est la bibliométrie: la qualité des scientifiques est principalement mesurée de façon quantitative – soit par le nombre de fois qu’une personne est citée et dans quelles revues elle est publiée. Même les revues sont dotées d’un chiffre qui montre combien de fois leurs articles sont cités en moyenne – le fameux facteur d’impact. Le deuxième domaine: la crise de la réplication, qui se réfère au fait que les expériences en sciences naturelles et sociales ne produisent pas les mêmes résultats chez d’autres groupes de recherche, alors que cela devrait être le cas. Cela affecte la crédibilité des sciences.

Enfin, les sientifiques publient autant que possible, car cela augmente leurs chances d’obtenir des subventions. Et celles et ceux qui en ont déjà perçu ont plus de chances que cela se répète – un peu selon la maxime de l’apôtre Matthieu: car on donnera à celui qui a. Or, il ne devrait pas non plus en être ainsi. L’évaluation par des pairs devrait garantir que seules les meilleures requêtes soient soutenues. Or, les instances d’évaluation se montrent souvent plus sévères envers les femmes ou les minorités ethniques qui sont sous-représentées dans les comités d’évaluation.

La propagation de la bibliométrie du système scientifique a de drôles de conséquences. Ruth Müller, spécialiste en sciences de la vie à l’Université technique de Munich, a récemment démontré que les postdocs en sciences de la vie n’orientent pas d’abord le choix de leurs questions de recherche vers l’acquisition de connaissances, mais plus encore vers les thèmes qui peuvent être publiés dans des revues spécialisées à fort facteur d’impact. Cela va à l’encontre de l’exigence même d’une science pertinente. La research on research doit désormais contribuer à mettre en lumière ces mécanismes et à éliminer les dysfonctionnements – pour un meilleur encouragement de la recherche et donc pour une recherche meilleure. Une entité spécifique appelée le Research on Research Institute (RoRI) a été créée à cette fin en 2019 par les universités de Leiden (NL) et de Sheffield (GB). Financé par une fondation privée et une entreprise active dans l’investissement numérique.

Le RoRI s’inscrit dans la ligne de réformes déjà en place, notamment la déclaration de San Francisco, ou DORA, par laquelle diverses instances d’encouragement se sont engagées à ignorer le facteur d’impact et à valoriser le contenu de la recherche plutôt que la renommée de la revue. Directeur du RoRI, James Wilsdon, qui enseigne la politique de la recherche à l’University College de Londres, dit: «Nous testons de nouveaux instruments pour trouver si et comment l’évaluation de la recherche peut être rationalisée et optimisée.» Parmi ces outils figurent l’IA et le recours à des éléments aléatoires. «Le RoRI s’inscrit dans le cadre des efforts réalisés dans le monde entier en faveur d’une culture responsable de l’évaluation de la recherche.»

Expérimentations dans le soutien à la recherche

Le Fonds national suisse (FNS) intègre déjà de tels outils dans sa pratique d’évaluation. Il a ainsi introduit des procédures aléatoires partielles, ce qui signifie qu’il recourt au tirage au sort pour choisir entre des requêtes de qualité équivalente celles qu’il soutiendra. «Des études ont montré que les évaluateurs ont de la peine à différencier entre elles les requêtes situées dans une zone grise moyenne», dit Katrin Milzow, responsable de la stratégie du FNS et membre du comité de direction du RoRI.

Dans une mise au concours pilote, le FNS accorde une attention particulière aux requêtes qui ont obtenu à la fois de très bonnes évaluations et de moins bonnes. Souvent, ces différences d’appréciation sont le signe d’un potentiel intéressant, dit Katrin Milzow. Le FNS a également un projet RoRI spécifique: les Career Tracker Cohorts. En collaboration avec l’Université de Berne, il interroge sur dix ans des postdocs qui ont bénéficié d’un encouragement et d’autres qui ont essuyé un refus. L’étude de longue durée doit non seulement fournir des informations sur leurs parcours, mais aussi sur les motivations et le regard subjectif que ces personnes portent sur le système scientifique et l’évolution de leur carrière. Les résultats doivent servir à mieux ajuster l’encouragement de la recherche aux besoins de la relève.

Enfin, le FNS mise désormais aussi sur le CV narratif. Il permet aux personnes requérantes de commenter les résultats de leurs recherches et de les relier à leur biographie. «Cela réduit la trop grande influence des indicateurs liés aux revues spécialisées et permet une évaluation plus complète», note Katrin Milzow. Elle souligne que les résultats du RoRI constituent une base de données pour le développement futur de l’encouragement de la recherche.

La Fondation allemande pour la recherche (DFG) travaille aussi à réformer ses pratiques d’encouragement, mais va moins loin que le FNS. Elle entend à l’avenir «assouplir l’emprise de la métrie quantitative». D’autres organismes sont plus réservés face à la research on research. Pour l’Agence autrichienne de promotion de la recherche (FFG), le meilleur moyen de l’améliorer serait de recourir à des instruments adéquats pour chaque groupe cible. Le Centre national de la recherche scientifique (CNRS) ne souhaite pas s’exprimer sur ce thème. Cette problématique n’est donc pas encore reconnue partout.

L'échec doit devenir obligatoire

Michael Nielsen et Kanjun Qiu, eux, foncent au contraire. Le physicien quantique et programmateur du Recurse Center de New York et la développeuse de logiciels ont rédigé une sorte de manifeste: «A Vision of Metascience». Avec le mot d’ordre de métascience, ces deux précurseurs acharnés de la research on research ne veulent être rien de moins qu’une machine à améliorer rapidement «les processus sociaux dans la science».

Par processus sociaux, Michael Nielsen et Kanjun Qiu entendent «les pratiques institutionnelles, les incitations et les normes» répandues dans le monde scientifique. «Quand nous parlons de changements dans les processus sociaux, nous faisons référence à des changements dans l’évaluation par les pairs ou dans la manière dont les bailleurs de fonds appréhendent les risques.» Si par exemple le taux d’échecs des projets subventionnés est inférieur à 50%, autrement dit si cet organisme n’a pas pris suffisamment de risques dans son encouragement, il faut licencier son responsable de programme – même si la définition de l’échec n’est pas vraiment claire. Les deux précurseurs donnent un autre exemple encore: que chaque organisme de promotion crée son «hall of shame». Un hall qui recenserait l’ensemble des scientifiques ayant réussi bien que cet organisme ne les ait pas soutenus faute d’avoir reconnu leur potentiel.

Pour sa part, la spécialiste des sciences Ruth Müller de l’Université technique de Munich se réjouit de ce que les organismes de soutien sont toujours plus conscients du problème et de leur volonté de réforme. Elle espère que l’analyse de l’attribution des subventions – donc les études réalisées sous l’étiquette research on research – devienne un sujet de recherche tout à fait normal, au même titre que l’étude des pratiques des chercheuses et chercheurs en laboratoire ou sur le terrain: «Les scientifiques assument différentes tâches et l’évaluation de la recherche en fait aussi partie. Pour l’améliorer, nous devons l’analyser en tant que pratique sociale.»

La sociologue et biologiste moléculaire relève toutefois que nous n’en sommes pas encore là. Elle déplore qu’une partie de ce mouvement méconnaisse les acquis des sciences sociales et veuille réinventer la roue. Lorsqu’elle parle du système social que constitue la science, elle entend bien davantage que Michael Nielsen et Kanjun Qiu. Pour elle, les scientifiques font partie de la société: ils y laissent leur empreinte tout en étant imprégnés par ses normes et ses rapports de force. L’élément social de la science signifie plus que le peer review auquel participe un collectif.

La recherche sur la recherche sur la recherche

C’est le sujet des études des sciences et des techniques (STS) qui remontent aux années 1960. A l’époque déjà, le sociologue Thomas Kuhn remarquait que les faits scientifiques étaient non pas des faits naturels objectifs, mais le produit de recherches menées par des personnes conditionnées et influencées par la société. De même, les évaluations ne sont pas objectives. Elles reflètent par exemple les préjugés des personnes qui les effectuent. «Une bonne chercheuse n’est pas forcément une bonne évaluatrice – comme la recherche, l’évaluation s’apprend», note Ruth Müller.

Selon elle, l’important est maintenant l’indépendance et la transparence de la research on research, actuellement insuffisantes: «L’évaluation par les pairs est souvent étudiée dans des projets de recherche sur mandat dont la publication est réduite. Les résultats sont à la disposition des mandataires, mais ne rejoignent pas le fonds de connaissances communes.» Or, les recherches doivent être accessibles à tous les scientifiques pour leur permettre de développer la connaissance.

Ruth Müller plaide pour une mise au concours ouverte des projets de la research on research financés par des tiers. A cet égard, la recherche sur la science de la fondation allemande Volkswagen représente un exemple pour la spécialiste.

La research on research s’est engagée à améliorer l’encouragement de la recherche et donc la recherche ellemême. Le réseau international développé grâce au RoRI a déjà mené à des réformes dans de nombreux organismes de soutien. Cela profite à la recherche. Maintenant, elle pourrait se tourner encore davantage vers elle-même.