Confoundle · a reasoning trap

Систематическая ошибка воспоминания

Спросите человека, чему он подвергался до болезни, и вы спрашиваете не только о прошлом: вы спрашиваете того, кому дали повод в этом прошлом рыться. Диагноз заставляет искать усерднее, а усердный поиск находит больше. В одном исследовании одни и те же женщины отвечали на один и тот же вопрос о своей коже с разницей в годы, один раз до того, как кто-либо знал, и один раз после диагноза меланомы, и те, кому поставили диагноз, сдвинулись в ответах. Их кожа не изменилась. Такое редко выдумывает находку из ничего. Оно берёт настоящую и делает её крупнее, а это поймать намного труднее, потому что ответ по-прежнему совпадает с вашими ожиданиями.

The rule

Люди, знающие, чем закончилась их история, иначе помнят её начало, поэтому вопрос о прошлом, заданный после того, как исход стал известен, измеряет и исход, и прошлое.

What it looks like

Женщины с меланомой гораздо чаще сообщают, что легко обгорают, чем женщины без неё. Какая часть этого разрыва приходится на их кожу?141 женщину с установленным диагнозом меланомы и 1094 женщины без него спросили, как их кожа реагирует на солнце. 45 процентов женщин с меланомой ответили, что загорают слабо или совсем не загорают, против 25 процентов у остальных. Светлая, легко обгорающая кожа известна как фактор риска, поэтому находка выглядит ровно так, как ожидалось.
Эти же женщины уже отвечали на вопрос, годами раньше.Каждая из этих женщин ответила на тот же вопрос до того, как кто-либо знал, у кого будет меланома. Тогда разрыв составлял тринадцать пунктов, а не двадцать. Женщины, которым позже поставили диагноз, сдвинулись на семь пунктов в сторону ответа, что они обгорают; женщины без диагноза, отвечавшие в те же годы, сдвинулись на один пункт в другую сторону. Ни у кого кожа за это время не изменилась. Изменилось то, что некоторых из них с тех пор попросили объяснить рак:

Итак, фактор риска реален, и всё же исследование его завышает: грубое отношение шансов по этим числам составляет около 1.8 до диагноза и около 2.5 после него, то есть примерно трети того, что измерило позднее исследование, раньше не было. Такова неудобная форма систематической ошибки воспоминания. Она редко создаёт связь из ничего. Она берёт настоящую связь и раздувает её, а это заметить куда труднее, потому что результат по-прежнему согласуется со всем, во что вы уже верили.

Why it works

Исследование случай-контроль начинается с исхода и идёт назад: у людей с болезнью и у людей без неё спрашивают, чему они подвергались. Это быстро, дёшево, а для редкой болезни часто единственный дизайн, который вообще по карману. Его слабость в том, что одной группе дали повод рыться в памяти. Диагноз рождает вопрос «почему я», и разум на него отвечает, хватаясь за солнечный ожог, химикат, лекарство, тяжёлую беременность. У другой группы такого повода нет, и она помнит не усерднее, чем люди помнят что угодно. Значит, две группы сравнивают не только по воздействию, но и по тому, насколько усердно они искали. Направление обычно предсказуемо: раздувается именно то, что человек уже подозревает, а значит, всё это склонно подтверждать проверяемую гипотезу. Все способы защиты сводятся к тому, чтобы не опираться на память. Возьмите сведения о воздействии из записи, сделанной до исхода: из базы выписанных рецептов, журнала на рабочем месте, хранящегося образца крови, анкеты, заполненной годами раньше. Или заложите сравнение, до которого механизм не дотянется, например второй вопрос о воздействии, которое никто не связывает с болезнью: если группы одинаково смещаются по нему, дело не в болезни. Что не работает, так это задавать вопрос тщательнее, и что не работает, так это просить людей быть объективными.

Источник

Parr CL, Hjartaker A, Laake P, Lund E, Veierod MB. Recall bias in melanoma risk factors and measurement error effects: a nested case-control study within the Norwegian Women and Cancer study. Am J Epidemiol. 2009;169(3):257-266, Table 4, p. 262. Tanning ability, category "light tan or no tan", prospective and retrospective responses from the same participants.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one