Confoundle · a reasoning trap

रिकॉल बायस

किसी से यह पूछना कि बीमार पड़ने से पहले वह किन चीज़ों के संपर्क में आया, केवल अतीत के बारे में पूछना नहीं है, बल्कि ऐसे व्यक्ति से पूछना है जिसे अतीत खंगालने की वजह दे दी गई है। निदान लोगों को और ज़ोर लगाकर खोजने पर मजबूर करता है, और ज़्यादा खोजने पर ज़्यादा मिलता है। एक अध्ययन में इन्हीं महिलाओं ने अपनी त्वचा के बारे में वही प्रश्न वर्षों के अंतर पर दो बार भरा, एक बार तब जब किसी को कुछ पता नहीं था और एक बार मेलानोमा के निदान के बाद, और जिनका निदान हुआ था उनके उत्तर खिसक गए थे। उनकी त्वचा नहीं बदली थी। यह शून्य से कोई निष्कर्ष शायद ही गढ़ता है। यह किसी सच्चे निष्कर्ष को बड़ा दिखा देता है, जिसे पकड़ना कहीं कठिन है, क्योंकि उत्तर तब भी आपकी अपेक्षा से मेल खाता है।

The rule

जिन लोगों को पता है कि उनकी कहानी का अंत कैसा हुआ, वे शुरुआत को अलग तरह से याद करते हैं, इसलिए परिणाम पता चलने के बाद अतीत के बारे में पूछना अतीत के साथ साथ परिणाम को भी मापता है।

What it looks like

तो जोखिम कारक असली है और फिर भी अध्ययन उसे बढ़ा चढ़ाकर बताता है: इन गिनतियों से मिलने वाला क्रूड ऑड्स रेशियो निदान से पहले लगभग 1.8 है और उसके बाद लगभग 2.5, यानी बाद वाले अध्ययन ने जो मापा उसका मोटे तौर पर एक तिहाई हिस्सा पहले मौजूद ही नहीं था। रिकॉल बायस की बेढंगी शक्ल यही है। यह शून्य से कोई संबंध शायद ही गढ़ता हो। यह किसी सच्चे संबंध को लेकर उसे फुला देता है, जिसे पकड़ना कहीं कठिन है, क्योंकि नतीजा तब भी उन सब बातों से मेल खाता है जिन पर आप पहले से विश्वास करते थे।

Why it works

केस कंट्रोल अध्ययन परिणाम से शुरू होकर पीछे की ओर चलता है, और जिन लोगों को कोई बीमारी है तथा जिन्हें नहीं है, दोनों से पूछता है कि वे किन चीज़ों के संपर्क में आए। यह तेज़ है, सस्ता है, और किसी दुर्लभ बीमारी के लिए अक्सर यही एकमात्र डिज़ाइन होता है जिसे वहन किया जा सकता है। इसकी कमज़ोरी यह है कि एक समूह को अपनी याददाश्त खंगालने की वजह दे दी गई है। निदान मन में यह प्रश्न उठाता है कि “मैं ही क्यों”, और मन उसका उत्तर ढूँढ़ता है, धूप की जलन, कोई रसायन, कोई दवा, कोई कठिन गर्भावस्था तक पहुँचता है। दूसरे समूह के सामने ऐसा कोई प्रश्न नहीं है और वह उतना ही याद करता है जितना कोई भी किसी बात को याद करता है। इसलिए दोनों समूहों की तुलना केवल एक्सपोज़र पर नहीं हो रही, बल्कि इस पर भी हो रही है कि किसने कितना ज़ोर लगाकर खोजा। दिशा आमतौर पर पहले से पता होती है: व्यक्ति जिसे पहले से दोषी मानता है, यह उसी को बढ़ा देता है, यानी यह जाँची जा रही परिकल्पना की पुष्टि करने की ओर झुकता है। बचाव के सारे उपाय यही हैं कि याददाश्त पर निर्भर न रहा जाए। एक्सपोज़र को ऐसे रिकॉर्ड से लें जो परिणाम से पहले लिखा गया हो, किसी प्रिस्क्रिप्शन डेटाबेस से, कार्यस्थल के रजिस्टर से, सुरक्षित रखे रक्त नमूने से, या वर्षों पहले भरी गई प्रश्नावली से। या फिर ऐसी तुलना बना लें जिसे यह प्रक्रिया छू ही न सके, जैसे एक दूसरा एक्सपोज़र प्रश्न जिसे कोई इस बीमारी से नहीं जोड़ता: यदि दोनों समूह उस पर बराबर खिसकते हैं, तो खिसकाव बीमारी की वजह से नहीं है। जो काम नहीं करता वह है प्रश्न को और सावधानी से पूछना, और जो काम नहीं करता वह है लोगों से कहना कि वे वस्तुनिष्ठ रहें।

स्रोत

Parr CL, Hjartaker A, Laake P, Lund E, Veierod MB. Recall bias in melanoma risk factors and measurement error effects: a nested case-control study within the Norwegian Women and Cancer study. Am J Epidemiol. 2009;169(3):257-266, Table 4, p. 262. Tanning ability, category "light tan or no tan", prospective and retrospective responses from the same participants.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.