Confoundle · a reasoning trap

Biais de mémorisation

Demandez à quelqu'un à quoi il a été exposé avant de tomber malade et vous n'interrogez pas seulement le passé : vous interrogez une personne à qui l'on a donné une raison de le fouiller. Un diagnostic pousse à chercher plus fort, et chercher plus fort fait remonter davantage. Dans une étude, les mêmes femmes ont répondu à la même question sur leur peau à des années d'intervalle, une fois avant que quiconque sache et une fois après un diagnostic de mélanome, et celles qui avaient été diagnostiquées s'étaient déplacées. Pas leur peau. Cela invente rarement un résultat à partir de rien. Cela prend un résultat vrai et le fait paraître plus grand, ce qui est bien plus difficile à attraper, car la réponse continue de concorder avec ce que vous attendiez.

The rule

Les personnes qui savent comment leur histoire s'est terminée se souviennent autrement du début : interroger sur le passé une fois l'issue connue mesure donc l'issue autant que le passé.

What it looks like

Les femmes atteintes de mélanome déclarent bien plus souvent que les autres attraper facilement des coups de soleil. Quelle part de cet écart tient à leur peau ?141 femmes chez qui un mélanome avait été diagnostiqué et 1 094 chez qui il ne l'avait pas été, interrogées sur la façon dont leur peau réagit au soleil. 45 pour cent des femmes atteintes de mélanome ont dit bronzer peu ou pas du tout, contre 25 pour cent des autres. Une peau claire qui brûle facilement est un facteur de risque connu : le résultat est donc exactement celui que l'on attendait.
Ces mêmes femmes avaient déjà répondu, des années plus tôt.Chacune de ces femmes avait rempli la même question avant que quiconque sache qui aurait un mélanome. À l'époque, l'écart était de treize points, pas de vingt. Les femmes qui ont ensuite été diagnostiquées se sont déplacées de sept points vers le fait de déclarer qu'elles brûlent ; les femmes non diagnostiquées, répondant sur les mêmes années, se sont déplacées d'un point dans l'autre sens. La peau de personne n'avait changé entre temps. Ce qui avait changé, c'est qu'on avait depuis demandé à certaines d'entre elles d'expliquer un cancer :

Le facteur de risque est donc réel et l'étude le surestime tout de même : l'odds ratio brut que donnent ces effectifs est d'environ 1,8 avant le diagnostic et d'environ 2,5 après, de sorte qu'à peu près un tiers de ce que l'étude ultérieure a mesuré n'existait pas auparavant. C'est la forme dérangeante du biais de mémorisation. Il fait rarement surgir une association à partir de rien. Il en prend une vraie et la gonfle, ce qui est bien plus difficile à repérer, car le résultat continue de concorder avec tout ce que vous croyiez déjà.

Why it works

Une étude cas-témoins part de l'issue et remonte le temps : elle demande à des personnes malades et à des personnes qui ne le sont pas à quoi elles ont été exposées. Elle est rapide, elle est peu coûteuse, et pour une maladie rare c'est souvent le seul schéma qui restera jamais abordable. Sa faiblesse est qu'un des groupes a reçu une raison de fouiller sa mémoire. Un diagnostic fait surgir la question « pourquoi moi », et l'esprit y répond en allant chercher le coup de soleil, le produit chimique, le médicament, la grossesse difficile. L'autre groupe n'a aucune incitation de ce genre et ne se souvient pas plus fort que quiconque se souvient de quoi que ce soit. Les deux groupes ne sont donc pas seulement comparés sur l'exposition, ils sont comparés sur l'intensité de leur recherche. La direction est en général prévisible : elle gonfle ce que la personne soupçonne déjà d'être en cause, ce qui revient à confirmer l'hypothèse testée. Les parades consistent toutes à ne pas dépendre de la mémoire. Prenez l'exposition dans un document écrit avant l'issue : une base de données de prescriptions, un registre d'entreprise, un échantillon de sang conservé, un questionnaire rempli des années plus tôt. Ou intégrez une comparaison que le mécanisme ne peut pas atteindre, par exemple une seconde question d'exposition que personne n'associe à la maladie : si les deux groupes dérivent autant sur celle-là, la dérive ne tient pas à la maladie. Ce qui ne marche pas, c'est de poser la question plus soigneusement, et ce qui ne marche pas non plus, c'est de demander aux gens d'être objectifs.

Source

Parr CL, Hjartaker A, Laake P, Lund E, Veierod MB. Recall bias in melanoma risk factors and measurement error effects: a nested case-control study within the Norwegian Women and Cancer study. Am J Epidemiol. 2009;169(3):257-266, Table 4, p. 262. Tanning ability, category "light tan or no tan", prospective and retrospective responses from the same participants.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one