A.N.A.E
ÉDITORIAL
Nos recherches sont-elles fiables ?
A.N.A.E. N° 141 – MAI 2016
Pourquoi sommes-nous d’accord pour qualifier une recherche de scientifique et quelles en sont les conditions ? Les effets observés sont-ils bien fiables, n’est-ce pas du hasard ? La reproductibilité (la fiabilité) des résultats fait partie de ces conditions essentielles pour effectuer un tel jugement. Imaginons une seconde qu’un article présente une nouvelle méthode de rééducation avec des effets significatifs incroyables et qu’aucun autre chercheur n’arrive à reproduire ces résultats… Que de temps et d’énergie perdue pour les enfants et les professionnels ! Du point de vue scientifique, une recherche à laquelle on ne peut se fier est inutile et coûteuse.
En théorie, une recherche qualifiée de scientifique doit pouvoir produire des résultats similaires si un chercheur décide de la répliquer avec une méthodologie strictement identique. En pratique, la reproductibilité n’est pas chose aisée. Plusieurs causes peuvent expliquer la non reproductibilité des résultats : échantillons testés trop faibles et non représentatifs de la population, protocoles expérimentaux incomplets, matériel expérimental non contrôlé et utilisation inappropriée des outils statistiques.
Un débat émerge depuis quelques années sur la reproductibilité des résultats produits par les recherches en sciences cognitives. Cette question a débuté indirectement avec la publication dans la revue Nature Neuroscience Review en 2011 d’une méta-analyse qui révèle que, selon les domaines (neuro-imagerie, modèles animaux, etc.), la puissance statistique moyenne des études en neurosciences est comprise entre 8 et 31 %, soit bien loin de la norme habituelle de 80 % (avec laquelle quatre études sur cinq mettent en évidence le même effet). Ces faibles taux s’expliquent globalement par des échantillons de taille insuffisante. Seules 15 % des études ont une excellente puissance statistique, supérieure à 90 %. Ces résultats font peser un doute sérieux sur la fiabilité des résultats en neurosciences (des doutes similaires ont aussi été émis auparavant dans d’autres disciplines comme en génétique, etc.).
La question de la reproductibilité des résultats en psychologie a été examinée dans une étude publiée dans Science en 2015. Les chercheurs ont reproduit 100 études (expérimentales ou corrélationnelles) publiées en 2008 dans des journaux de psychologie de haut niveau. En utilisant plusieurs indicateurs, les résultats originaux d’environ 36 à 50 % des études sont répliqués.
Plusieurs facteurs culturels peuvent expliquer ce problème. Les revues cotées cherchent surtout la nouveauté et l’impact sur le grand public. Ainsi, les recherches qui répliquent des résultats antérieurs sont difficilement publiées. Les scientifiques cherchent à publier le plus possible d’articles dans les revues à fort impact. Ces nécessités vont contraindre les études (petits échantillons, etc.) et peuvent avoir pour conséquence de réduire leur puissance statistique. Les revues comme Nature ou Science peuvent publier des résultats mais qui ne seront pas reproduits par la suite et donc publiés dans des revues moins prestigieuses. On peut citer, par exemple, le cas de l’existence d’un transfert intersensoriel entre la vision et la bouche chez les nouveau-nés, recherche publiée par Meltzoff & Borton dans Nature en 1979 et non répliquée par Maurer et ses collègues (recherche publiée dans Child Development en 1999).
En conséquence, ce travail de réplication, indispensable pour renforcer la fiabilité des résultats, devrait être davantage discuté dans les enseignements universitaires et valorisé dans les activités de recherche. Il en va de l’avenir de notre discipline.
Ce numéro 141 consacré à la rééducation neuropsychologique et coordonné par Gérald Bussy et Charlotte Seguin aborde dans plusieurs articles la question centrale de la fiabilité des études sur les effets bénéfiques en rééducation neuropsychologique évalués par les chercheurs et publiées dans les revues scientifiques.
Pr Édouard Gentaz
Professeur de psychologie du développement à Université de Genève et
Directeur de recherche au CNRS (LPNC-Grenoble)
Rédacteur en chef d’A.N.A.E.
RÉFÉRENCES
BUTTON, K. et al. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14, 365-376.
OPEN SCIENCE COLLABORATION (2015). Psychology: Estimating the reproducibility of psychological science. Science, 349, 6251.
MAURER, D., STAGER, C. L. & MONDLOCH, J. E. (1999). Cross-modal transfer of shape is difficult to demonstrate in one-month-olds. Child Development, 70, 1047-1057.
MELTZOFF, A. N. & BORTON, R. W. (1979). Intermodal matching by human neonates. Nature, 282, 403-404.