Pourquoi la reproductibilité ne suffit pas à elle seule
Seule la moitié des résultats des études en sciences sociales résistent à un examen approfondi, montre un travail de recherche mené sur plusieurs années. Pourquoi il existe néanmoins des raisons d’être optimiste.
Quand qui punit qui, et comment? Ce sont là quelques-unes des questions abordées dans le cadre d'études en laboratoire menées en sciences sociales. | Photo: Martial Trezzini / Keystone
Des chercheuses et chercheurs en sciences sociales ont évalué sur plusieurs années la solidité des résultats issus de leur discipline. A cette fin, ils ont soumis entre 100 et 200 études à des tests de reproductibilité, de réplicabilité et de robustesse. Nature a publié les trois articles en question.
La reproductibilité implique que les mêmes données et méthodes produisent les mêmes résultats; la réplicabilité, qu’une répétition de l’étude aboutit à un résultat similaire, et la robustesse, que même des méthodes légèrement différentes donnent un résultat comparable. L’équipe a montré qu’environ la moitié des études testées répondaient à l’un de ces critères. Un échec cuisant pour les sciences sociales, selon de nombreux commentaires. Ilka Gleibs, chercheuse en sciences du comportement, ne partage pas cet avis dans un blog de la London School of Economics and Political Science. Le verre est à moitié plein selon elle: «Le projet nous donne une bonne raison de voir les sciences sociales sous un œil optimiste.»
Ilka Gleibs a corédigé l’article de Nature consacré à la reproductibilité. Elle estime que «l’incertitude fait partie du savoir scientifique; ce n’est pas un défaut à éliminer, mais une caractéristique avec laquelle il faut composer». L’étude a mis en évidence un futur fondé sur la transparence, «avec de meilleures politiques en matière de partage de données et de codes, et des méthodes plus ouvertes».
Elle souligne également la complexité de la crédibilité des résultats. Laquelle, outre la reproductibilité, la réplication et la robustesse, implique des choses comme la théorie, la prise en compte des changements contextuels, la vérification des biais ainsi que des méthodes valides. Le débat est lancé: comment évaluer la crédibilité des études en sciences sociales?
