Confoundle · a reasoning trap

प्रकाशन पूर्वाग्रह

किसी दवा पर चिकित्सा साहित्य खंगालिए और आप वह शोध नहीं देख रहे होते जो किया गया था। आप वह शोध देख रहे होते हैं जो लिखा गया और स्वीकार किया गया, और जिन अध्ययनों में कुछ साफ़ मिला वे इस छलनी से उन अध्ययनों के मुकाबले कहीं बेहतर तरीके से पार निकलते हैं जिनमें कुछ नहीं मिला। दवाओं के एक वर्ग के लिए नियामक के पूरे अभिलेखागार ने दिखाया कि करीब आधे परीक्षण सकारात्मक थे, जबकि पत्रिकाओं में लगभग सभी सकारात्मक दिखे। ऐसा होने के लिए किसी को झूठ बोलने की ज़रूरत नहीं पड़ी। निराश करने वाले परीक्षण बस कभी पूरे ही नहीं हुए।

The rule

प्रकाशित साहित्य किए गए शोध का नमूना नहीं है। यह वह शोध है जिसे किसी ने भेजने के लिए चुना और किसी ने छापने के लिए चुना, और इस छलनी से कामयाबी नाकामी के मुकाबले कहीं बेहतर तरीके से पार निकल जाती है।

What it looks like

इनमें से दो फ़ैसले अलग अलग लोगों के हैं, और यह मायने रखता है। सकारात्मक या नकारात्मक होना नियामक का अपना फ़ैसला था, उस नतीजे पर जिसे हर परीक्षण ने पहले से मापने का वादा किया था। यह पढ़ना कि ग्यारह प्रकाशनों ने सकारात्मक नतीजा पहुँचाया, अध्ययन के लेखकों का आकलन था, नियामक का नहीं, और उन्होंने खुद यह कहा भी। जो राय का मामला है ही नहीं, वे हैं वही बाईस परीक्षण जो कभी सामने आए ही नहीं।

Why it works

इसके लिए किसी को झूठ बोलने की ज़रूरत नहीं पड़ती। जिस परीक्षण में कुछ नहीं मिलता उसे लिखना ज़्यादा नीरस होता है, छपवाना ज़्यादा मुश्किल, और व्यावसायिक रूप से वह किसी को नहीं भाता, इसलिए वह ढेर के सबसे नीचे खिसकता जाता है और चुपचाप कभी पूरा ही नहीं होता। पूरे क्षेत्र में यही बात दोहराइए और जो साहित्य बचता है वह शोध की असलियत से व्यवस्थित रूप से ज़्यादा उजला होता है। असर बढ़ता चला जाता है, क्योंकि समीक्षाएँ और दिशानिर्देश उसी पर बनते हैं जो प्रकाशित हुआ, इसलिए यह खाई आगे की हर चीज़ को विरासत में मिल जाती है और किसी छलनी के बजाय जमा होते साक्ष्य जैसी दिखती है। दो चीज़ें इसका मुकाबला करती हैं। पहली है पंजीकरण: परीक्षण और उसका प्राथमिक नतीजा शुरू करने से पहले घोषित कर दीजिए, और तब अप्रकाशित नतीजा कोई निशान न छोड़ने के बजाय एक दिखता हुआ छेद छोड़ जाता है। दूसरी है फ़नल प्लॉट, जो इस बात का फ़ायदा उठाता है कि छोटे अध्ययन दूर दूर तक बिखरते हैं और बड़े अध्ययन एक जगह सिमटते हैं; अगर वे छोटे अध्ययन गायब हैं जिन्हें निराश करने वाली तरफ़ गिरना चाहिए था, तो बिखराव एकतरफ़ा निकलता है। इनमें से कोई भी उपाय ऐसे साहित्य पर पीछे लौटकर काम नहीं करता जो इन उपायों से पहले का है, और यही वजह है कि इस सवाल का जवाब देने का एकमात्र रास्ता नियामक का अभिलेखागार ही था।

स्रोत

Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008;358(3):252-260. Counts are Table 1 (p. 255) and Figure 1A (p. 256): of 74 registered trials, the FDA judged 38 positive; 40 publications agreed with the FDA, 11 conflicted by reading as positive, and 23 were never published.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.