Évaluer la fiabilité d’une étude scientifique

Par: François Doyon

Les journaux rapportent régulièrement les résultats de la recherche scientifique. Mais avant de croire aux résultats d’une étude ou de la citer comme argument dans un débat, il faut évaluer la qualité des données empiriques, car les études scientifiques n’ont pas toutes le même degré de fiabilité. Elles sont même souvent des preuves insuffisantes du point de vue de la logique de l’argumentation. Voici, en ordre croissant de fiabilité, une brève description des types de preuves empiriques, librement inspiré de Normand Baillargeon (Légendes pédagogiques : l’autodéfense intellectuelle en éducation, Éditions Poètes de brousse, 2013).

7- Anecdote :

« Je l’ai essayé en classe et ça fonctionne. » Peut-être, mais utiliser une anecdote comme preuve, c’est faire une généralisation très hâtive. On ne devrait pas citer cela comme preuve.

6- Avis d’expert :

Un avis d’expert peut être utile, mais sans études empiriques, ce n’est qu’un appel à l’autorité. On ne devrait pas citer cela comme preuve.

5- Étude simple sans variable de contrôle :

Un « contrôle» est une expérience qui reprend exactement l’expérience que vous venez d’effectuer, à un détail près. Par exemple, si vous faites une expérience destinée à montrer les effets d’un catalyseur, vous devez ensuite reprendre la même expérience en omettant d’y introduire le catalyseur. Vous verrez ainsi que le catalyseur joue un rôle primordial et que, sans lui, la réaction n’aurait pas eu lieu – ou tout au moins, pas à la même vitesse. (D’après Amenda Kent et al., Le livre des sciences, Paris, Éditions France Loisirs, 1983, p.92.) Étude simple sans variable de contrôle est très peu fiable, car il s’agit d’une étude effectuée sur un seul sujet donc les résultats peuvent être causés par un facteur non contrôlé. Impossible alors d’établir rigoureusement une relation de cause à effet. On ne devrait pas citer comme preuve ce genre d’étude.

4- Étude simple avec variable de contrôle :

Très peu fiable, car comme il s’agit d’une étude effectuée sur un seul sujet, on ne peut pas généraliser. On ne devrait pas citer comme preuve ce genre d’étude.

3- Étude avec groupe expérimental et groupe témoin :

Il s’agit d’une étude effectuée sur plusieurs sujets, qui utilise un groupe de contrôle pour la comparaison avec un groupe expérimental afin de tester une hypothèse causale. Le groupe témoin est identique sur tous les paramètres importants sauf en ce qui concerne l’introduction de l’agent causal supposé qui se trouve chez le groupe expérimental. Si l’agent causal supposé est bien un facteur causal du phénomène à expliquer, alors le phénomène se manifeste plus significativement dans le groupe expérimental que dans le groupe de contrôle. Pour qu’une étude soit digne d’être citée, le plus important est d’avoir un groupe témoin et un groupe expérimental. Plus la population totale est grande, plus la taille de l’échantillon doit l’être. Plus l’affirmation est courageuse (par exemple « tu vas avoir 59.4% à ton examen final »), plus il y a de risque de se tromper; et inversement une affirmation banale (« tu vas avoir entre 30 et 70% ») est presque certainement vraie, mais insignifiante. Il faut aller chercher une sorte de juste milieu qui peut varier selon les disciplines, en appliquant notamment le principe de précaution. En sciences humaines, 19 fois sur 20 est généralement appropriée, mais on ne peut pas en dire autant concernant la probabilité qu’on pont soit solide... Un intervalle de confiance beaucoup plus précis serait alors de mise. Il faut garder à l’esprit que d’autres études sont nécessaires pour en confirmer les résultats.

2- Méta-analyse :

Une méta-analyse est une méthode qui se base sur des outils statistiques afin de pouvoir combiner et comparer les résultats de plusieurs études. Peut constituer une preuve fiable, surtout quand plusieurs méta-analyses convergent vers les mêmes conclusions. Il faut tout de même garder en tête que le choix des études incluses dans une méta-étude peut influencer les résultats.

1- Synthèse de méta-analyses :

Ce genre d’études est ce que la recherche scientifique peut produite de plus fiable en termes de qualité de la preuve empirique. Il faut cependant garder à l’esprit qu’en science, rien n’est jamais absolument certain.

Bref, la nature même de la science fait en sorte qu’aucune de ses conclusions n’échappe à la possibilité d’être un jour réfutée par une observation scientifique contraire. Cela permet aux théories scientifiques de se modifier afin de mieux expliquer la réalité. Même une théorie établie, comme la théorie de l’évolution, devrait être largement révisée si on découvrait, comme plaisantait le biologiste J.B.S. Haldane, un fossile de lapin dans une couche géologique datant du Pré-cambrien (subdivision du temps géologique qui précède l’apparition des animaux et qui va de la formation de la terre il y a 4.6 milliards d’années à il y a 541 millions d’années). Une théorie qu’il serait impossible de réfuter par aucune observation ne serait pas scientifique puisqu’une telle théorie ne serait pas testable, et serait donc déconnectée de la réalité. C’est pourquoi il faut être très prudent avant de d’utiliser des expressions telles que «scientifiquement prouvé» et «fait établi». En fait, les scientifiques n’ont généralement pas de prétention à obtenir la vérité absolue; ils ont plutôt pour but d’expliquer le mieux possible, en se basant sur des probabilités, les phénomènes observés. L’analyse des observations révèle des corrélations que les scientifiques cherchent ensuite à expliquer en supposant l’existence de causes qui unissent les observations. Par exemple, alors que le lien entre les marées et la lune était évident depuis des lustres, c’est seulement avec la théorie de la gravitation de Newton (1643-1727) qu’on obtient une véritable compréhension du mécanisme causal qui relie les deux.