Confoundle · a reasoning trap

回忆偏倚

问一个人在患病之前暴露于什么,你问的不只是过去,你问的是一个已经被给了理由去搜寻过去的人。确诊会让人找得更用力,而找得更用力就会翻出更多东西。在一项研究中,同一批女性相隔数年回答了关于自己皮肤的同一个问题,一次在无人知情之前,一次在黑色素瘤确诊之后,被确诊的那些人的答案发生了移动。她们的皮肤没有。这很少会凭空造出一个发现。它是把一个真实的发现放大,而这要难察觉得多,因为答案仍然与你的预期相符。

The rule

知道自己故事结局的人,会以不同的方式回忆开头,所以在结局已知之后询问过去,测到的既是过去,也是结局。

What it looks like

患黑色素瘤的女性报告皮肤容易晒伤的比例,远高于未患病的女性。这个差距有多少是来自她们的皮肤?141 名已确诊黑色素瘤的女性和 1,094 名未确诊的女性,被问及皮肤对日晒的反应。患黑色素瘤的女性中 45% 说自己几乎不晒黑或完全不晒黑,其他人中这一比例为 25%。皮肤白皙、容易晒伤是已知的危险因素,所以这个结果看起来完全符合预期。
这些女性在数年前就已经回答过同一个问题。在还没有人知道谁会患黑色素瘤之前,这些女性每一位都填过同样的问题。那时差距是十三个百分点,而不是二十。后来被确诊的女性向容易晒伤那一侧移动了七个百分点;同一段年份里作答、未被确诊的女性则向相反方向移动了一个百分点。这期间没有人的皮肤发生变化。变化的是,其中一些人此后被要求解释一场癌症:

所以这个危险因素是真实的,而研究仍然高估了它:这些计数给出的粗比值比,确诊前约为 1.8,确诊后约为 2.5,因此后一次研究测到的东西里,大约三分之一在此之前并不存在。这就是回忆偏倚令人为难的形态。它很少凭空造出一个关联。它是把一个真实的关联放大,而这要难察觉得多,因为结果仍然与你原本相信的一切相符。

Why it works

病例对照研究从结局出发向前回溯,询问患病的人和未患病的人各自暴露于什么。它快,它便宜,对罕见病来说往往是唯一负担得起的设计。它的弱点在于其中一组被给了搜寻记忆的理由。一次确诊会引出“为什么是我”这个问题,而大脑会去回答它,抓住那次晒伤、那种化学品、那种药、那次艰难的妊娠。另一组没有这样的提示,回忆得并不比人们平时回忆任何事情更用力。所以这两组被比较的不只是暴露,还有他们各自找得有多用力。方向通常可以预料:它会放大当事人本来就怀疑该负责的那个因素,也就意味着它倾向于确证正在被检验的假设。防御手段都围绕着不依赖记忆。从结局发生之前写下的记录中获取暴露信息:处方数据库、工作场所记录、留存的血样、数年前填写的问卷。或者设置一个该机制触及不到的比较,比如再问一个没有人会把它与该疾病联系起来的暴露问题:如果两组在这个问题上的漂移一样,那么漂移就与疾病无关。不起作用的做法是把问题问得更仔细,同样不起作用的是叮嘱人们要客观。

来源

Parr CL, Hjartaker A, Laake P, Lund E, Veierod MB. Recall bias in melanoma risk factors and measurement error effects: a nested case-control study within the Norwegian Women and Cancer study. Am J Epidemiol. 2009;169(3):257-266, Table 4, p. 262. Tanning ability, category "light tan or no tan", prospective and retrospective responses from the same participants.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one