Confoundle · a reasoning trap

Sesgo de memoria

Pregunta a alguien a qué estuvo expuesto antes de enfermar y no solo preguntas por el pasado: preguntas a alguien a quien se le ha dado un motivo para rebuscarlo. Un diagnóstico hace que la gente busque con más empeño, y buscar más saca más cosas. En un estudio, las mismas mujeres respondieron a la misma pregunta sobre su piel con años de diferencia, una vez antes de que nadie supiera nada y otra tras un diagnóstico de melanoma, y las que habían sido diagnosticadas se habían desplazado. Su piel no. Esto rara vez inventa un hallazgo de la nada. Toma uno verdadero y lo hace parecer mayor, lo que es mucho más difícil de detectar, porque la respuesta sigue coincidiendo con lo que esperabas.

The rule

Quien sabe cómo terminó su historia recuerda el principio de otra manera, así que preguntar por el pasado cuando ya se conoce el desenlace mide también el desenlace, no solo el pasado.

What it looks like

Las mujeres con melanoma dicen quemarse con facilidad mucho más a menudo que las mujeres sin melanoma. ¿Qué parte de esa diferencia es su piel?141 mujeres diagnosticadas de melanoma y 1.094 sin diagnóstico, a las que se preguntó cómo responde su piel al sol. El 45 por ciento de las mujeres con melanoma dijo que se broncea poco o nada, frente al 25 por ciento de las demás. La piel clara, que se quema con facilidad, es un factor de riesgo conocido, así que el hallazgo es exactamente el esperado.
Estas mismas mujeres ya habían respondido, años antes.Todas estas mujeres respondieron a la misma pregunta antes de que nadie supiera quién tendría melanoma. Entonces la diferencia era de trece puntos, no de veinte. Las mujeres que después fueron diagnosticadas se desplazaron siete puntos hacia decir que se queman; las que no fueron diagnosticadas, respondiendo en los mismos años, se desplazaron un punto en sentido contrario. A nadie le cambió la piel entretanto. Lo que cambió es que a algunas les habían pedido desde entonces que explicaran un cáncer:

Así que el factor de riesgo es real y aun así el estudio lo exagera: la odds ratio cruda que dan estos recuentos es de aproximadamente 1,8 antes del diagnóstico y de aproximadamente 2,5 después, de modo que alrededor de un tercio de lo que midió el estudio posterior no estaba allí antes. Esa es la forma incómoda del sesgo de memoria. Rara vez inventa una asociación de la nada. Toma una verdadera y la infla, lo que es mucho más difícil de detectar, porque el resultado sigue concordando con todo lo que ya creías.

Why it works

Un estudio de casos y controles parte del desenlace y va hacia atrás: pregunta a personas que tienen una enfermedad y a personas que no la tienen a qué estuvieron expuestas. Es rápido, es barato y, para una enfermedad rara, suele ser el único diseño asequible. Su debilidad es que a uno de los grupos se le ha dado un motivo para rebuscar en su memoria. Un diagnóstico plantea la pregunta «por qué a mí», y la mente la responde echando mano de la quemadura solar, el producto químico, el medicamento, el embarazo complicado. El otro grupo no recibe ese estímulo y no recuerda con más empeño de lo que cualquiera recuerda cualquier cosa. Así que los dos grupos no solo se comparan en exposición, se comparan en cuánto buscaron. La dirección suele ser previsible: infla aquello que la persona ya sospecha que tiene la culpa, lo que significa que tiende a confirmar la hipótesis puesta a prueba. Las defensas consisten todas en no depender de la memoria. Toma la exposición de un registro escrito antes del desenlace: una base de datos de prescripciones, un registro laboral, una muestra de sangre almacenada, un cuestionario rellenado años antes. O incorpora una comparación que el mecanismo no pueda tocar, como una segunda pregunta de exposición que nadie asocia con la enfermedad: si los grupos se desvían por igual en esa, la desviación no tiene que ver con la enfermedad. Lo que no funciona es preguntar con más cuidado, y lo que no funciona es pedir a la gente que sea objetiva.

Fuente

Parr CL, Hjartaker A, Laake P, Lund E, Veierod MB. Recall bias in melanoma risk factors and measurement error effects: a nested case-control study within the Norwegian Women and Cancer study. Am J Epidemiol. 2009;169(3):257-266, Table 4, p. 262. Tanning ability, category "light tan or no tan", prospective and retrospective responses from the same participants.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one