Voilà un titre volontairement provocateur : « Pourquoi la plupart des résultats publiés sont faux »

Il reprend celui d’un article du Professeur John P. A. Ioannidis[1], publié en 2005. Cet article est considéré comme l’un des textes fondateurs de la métascience, c’est-à-dire l’étude de la qualité et de la fiabilité de la recherche scientifique elle-même.

Cet article ne dit pas que la science est fausse, mais que de nombreux résultats publiés ont une probabilité importante d’être erronés, notamment dans certains domaines, en général ceux du vivant.

En réalité, Ioannidis montre que la probabilité qu’un résultat scientifique publié soit réellement vrai dépend de plusieurs facteurs statistiques et méthodologiques. Lorsque ces facteurs sont défavorables, il devient plus probable qu’un résultat « significatif » soit en réalité un faux positif. (PLOS)

Les six grandes causes des faux résultats pour les aspects méthodologiques

1. Les études sont trop petites

De nombreuses études utilisent un effectif insuffisant.

Conséquences :

• faible puissance statistique ;
• effets réels difficiles à détecter ;
• surestimation des effets observés.

Les petites études produisent davantage de résultats instables.

2. Les effets recherchés sont faibles

Plus l’effet réel est faible, plus il est difficile de le distinguer du bruit statistique.

Exemple :

• un médicament diminuant un risque de seulement 2 % ;
• une molécule ayant un effet biologique très faible.

Ces effets nécessitent des études très puissantes.

3. On teste énormément d’hypothèses

C’est probablement l’idée la plus importante de l’article.

Si l’on teste :

• 100 hypothèses,
• 1 000 hypothèses,
• ou 100 000 (comme en génétique),

avec un seuil classique de p < 0,05, une partie des résultats apparaîtront significatifs par pur hasard.

Plus on cherche, plus on trouve… même lorsqu’il n’y a rien.

4. Les chercheurs disposent d’une grande liberté analytique

C’est ce qu’on appelle aujourd’hui le « researcher degrees of freedom ».

On peut choisir :

• quelles variables conserver,
• quels sujets exclure,
• quel test statistique employer,
• quel critère principal retenir,
• quelles analyses publier.

Chaque choix peut orienter le résultat.

5. Les biais et conflits d’intérêts

Les biais ne sont pas uniquement financiers.

Ils peuvent être :

• intellectuels ;
• idéologiques ;
• institutionnels ;
• liés à la carrière ;
• liés à la publication.

Lorsqu’un chercheur croit fortement à une hypothèse, cela peut influencer inconsciemment son travail.

6. La compétition scientifique

Lorsque des dizaines d’équipes travaillent simultanément sur le même sujet :

• chacune teste des dizaines d’idées ;
• seules celles obtenant un résultat positif publient rapidement.

Les résultats négatifs restent souvent dans les tiroirs (biais de publication).

Au final, la littérature donne l’impression que l’effet existe alors qu’il peut être largement surestimé.

Son modèle statistique

Ioannidis introduit une idée importante :

Un résultat statistiquement significatif n’est pas forcément vrai.

La probabilité qu’il soit vrai dépend de trois éléments principaux :

• la probabilité que l’hypothèse soit plausible avant l’étude ;
• la puissance statistique ;
• les biais.

Ainsi, un résultat avec p < 0,05 peut malgré tout avoir une forte probabilité d’être faux si l’hypothèse initiale était peu plausible ou si l’étude est biaisée. (PLOS)

Le rôle des probabilités a priori

L’un des messages les plus importants est d’inspiration bayésienne.

Si l’on teste une hypothèse très improbable :

même un résultat « significatif » a de bonnes chances d’être faux.

Exemple simplifié :

On teste 1 000 hypothèses.

En réalité :

• 990 sont fausses ;
• 10 sont vraies.

Même avec de bonnes statistiques, les faux positifs peuvent devenir aussi nombreux, voire plus nombreux, que les vrais positifs.

Ce que ne dit pas l’article…

L’article est souvent mal interprété.

Ioannidis ne dit pas :

• que tous les chercheurs trichent ;
• que la science est fausse ;
• que les statistiques sont inutiles.

Il explique que le système de production scientifique favorise parfois la publication de résultats peu fiables, en particulier dans les domaines où les effets sont faibles, les hypothèses nombreuses et les études peu puissantes. (PLOS)

Les conséquences proposées

Il recommande notamment :

• des études plus grandes ;
• davantage de réplications indépendantes ;
• des protocoles préenregistrés ;
• le partage des données ;
• la réduction des conflits d’intérêts ;
• une plus grande transparence statistique.

Ces idées ont largement inspiré le mouvement de la science ouverte.

Impact scientifique

Cet article est devenu l’un des plus influents de la médecine moderne.

Il est considéré comme l’un des déclencheurs de la crise de la reproductibilité, observée ensuite en psychologie, biomédecine, neurosciences, économie et dans d’autres disciplines. (PLOS)

Il est toutefois important de noter que le titre ne signifie pas littéralement que la majorité de toutes les études publiées sont fausses. C’est une démonstration théorique montrant que, dans certaines conditions (faible plausibilité initiale, faible puissance, biais élevés), la majorité des résultats positifs peuvent être erronés. Des travaux ultérieurs ont estimé que, dans certains domaines comme les grands essais cliniques médicaux, la proportion réelle de faux positifs est probablement nettement plus faible (de l’ordre de 10 à 15 %), même si les biais de publication et la surestimation des effets restent des problèmes majeurs. (arXiv)

Au vu de nos échanges récents sur la recherche autour de l’eau, de la structuration moléculaire et des phénomènes de vortex, cet article fournit un excellent cadre de lecture : il invite à évaluer non seulement ce qu’une étude conclut, mais aussi la puissance de l’étude, la plausibilité du mécanisme proposé, les biais possibles et surtout si les résultats ont été reproduits indépendamment.

C’est précisément cette démarche critique qui permet de distinguer une hypothèse prometteuse d’un résultat encore fragile.

Science et vérité

Voilà donc pour la partie méthodologique et statistiques de sciences qui ne peuvent écrire des équations. Equations qui ne souffrent pas les exceptions. Contrairement aux statistiques, l’équation confère alors une vérité certaine dans un référentiel donné.

Mais dans le domaine de la nature, observer une conséquence avec de multiples causes intriquées, interdit toute certitude absolue : les référentiels sont multiples et les relations de l’infiniment petit, de l’invisible au visible, seront-elles un jour appréhendées dans leur globalité ? Rien n’est moins sûr.

Et comme nous l’avons évoqué sur la « controverse scientifique de la mémoire de l’eau », quelle est la science du vivant qui peut détenir une vérité absolue  ? Alors même que les observations d’un réféntiel à un autre, par des spécialistes non transverses, donnent des conclusions contraires en apparenc, ou non ?

Comment assurément distinguer le vrai du faux ?

[1] Professeur de médecine et médecin chercheur à l’Université de Stanford

Crédit photo : Thierry Alingrin & IA