Confoundle · a reasoning trap

প্রকাশনা পক্ষপাত

কোনো ওষুধ নিয়ে চিকিৎসা গবেষণাসাহিত্য খুঁজে দেখলে আপনি যে গবেষণা হয়েছিল তা দেখছেন না। আপনি দেখছেন সেই গবেষণা যা লেখা হয়েছিল আর গৃহীত হয়েছিল; আর যেসব গবেষণা কিছুই পায়নি তাদের চেয়ে যেসব গবেষণা স্পষ্ট কিছু পেয়েছিল সেগুলো ওই ছাঁকনি অনেক ভালোভাবে পেরিয়ে আসে। একদল ওষুধের ক্ষেত্রে নিয়ন্ত্রক সংস্থার সম্পূর্ণ সংগ্রহশালা দেখিয়েছিল যে প্রায় অর্ধেক ট্রায়াল পজিটিভ ছিল, অথচ জার্নালগুলো দেখাচ্ছিল প্রায় সবগুলোই। এটি ঘটার জন্য কাউকে মিথ্যা বলতে হয়নি। হতাশাজনকগুলো কেবল কখনো শেষই হয়নি।

The rule

প্রকাশিত গবেষণাসাহিত্য যে গবেষণা হয়েছে তার কোনো নমুনা নয়। এটি সেই গবেষণা যা কেউ জমা দেওয়ার সিদ্ধান্ত নিয়েছিলেন আর কেউ ছাপার সিদ্ধান্ত নিয়েছিলেন; আর ব্যর্থতার চেয়ে সাফল্য ওই ছাঁকনি অনেক ভালোভাবে পেরিয়ে আসে।

What it looks like

ওই বিচারগুলোর দুটি আলাদা মানুষের, আর সেটি গুরুত্বপূর্ণ। পজিটিভ না নেগেটিভ, সেটি ছিল প্রতিটি ট্রায়াল আগেভাগে যে পরিণতিটি মাপার প্রতিশ্রুতি দিয়েছিল তার ওপর নিয়ন্ত্রক সংস্থার নিজের সিদ্ধান্ত। আর এগারোটি প্রকাশনা পজিটিভ ফলের বার্তা দিয়েছে, এই পাঠটি ছিল গবেষণার লেখকদের মূল্যায়ন, নিয়ন্ত্রক সংস্থার নয়, আর তাঁরা সে কথা বলেও দিয়েছেন। যেটি মতামতের বিষয় নয় তা হলো সেই বাইশটি, যেগুলো কখনো সামনেই আসেনি।

Why it works

এখানে কাউকে মিথ্যা বলতে হয় না। যে ট্রায়াল কিছুই খুঁজে পায় না সেটি লিখতে বেশি একঘেয়ে, ছাপাতে দেওয়া বেশি কঠিন আর বাণিজ্যিকভাবে অনাকাঙ্ক্ষিত; তাই সেটি স্তূপের নিচের দিকে সরে যায় আর নীরবে কখনো শেষই হয় না। একটি গোটা ক্ষেত্র জুড়ে এটি বারবার ঘটলে টিকে থাকা গবেষণাসাহিত্য গবেষণাটি আসলে যেমন ছিল তার চেয়ে নিয়ম করে উজ্জ্বল হয়ে দাঁড়ায়। প্রভাবটি চক্রবৃদ্ধির মতো বাড়ে, কারণ রিভিউ আর নির্দেশিকা দাঁড় করানো হয় যা প্রকাশিত হয়েছে তার ওপর; তাই ব্যবধানটি তার পরের সবকিছুই উত্তরাধিকারসূত্রে পেয়ে যায়, আর সেটিকে একটি ছাঁকনির বদলে জমতে থাকা প্রমাণ বলে মনে হয়। দুটি জিনিস এর বিরুদ্ধে ঠেলে। প্রথমটি নিবন্ধন: শুরুর আগেই ট্রায়ালটি আর তার প্রাইমারি আউটকাম ঘোষণা করে রাখুন, তাহলে অপ্রকাশিত একটি ফল কোনো চিহ্ন না রেখে হারিয়ে যাওয়ার বদলে একটি দৃশ্যমান ফাঁক রেখে যায়। দ্বিতীয়টি ফানেল প্লট, যা এই সত্যটিকে কাজে লাগায় যে ছোট গবেষণাগুলো অনেকখানি ছড়িয়ে থাকে আর বড়গুলো এক জায়গায় জমে; হতাশাজনক দিকে যেসব ছোট গবেষণার পড়ার কথা ছিল সেগুলো যদি না থাকে, তাহলে ছড়ানোটা একদিকে হেলে যায়। এই দুটি সমাধানের কোনোটিই সেই গবেষণাসাহিত্যের ওপর পিছন ফিরে কাজ করে না যা এগুলোরও আগেকার, আর এ কারণেই নিয়ন্ত্রক সংস্থার সংগ্রহশালাই ছিল এই প্রশ্নের উত্তর দেওয়ার একমাত্র উপায়।

উৎস

Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008;358(3):252-260. Counts are Table 1 (p. 255) and Figure 1A (p. 256): of 74 registered trials, the FDA judged 38 positive; 40 publications agreed with the FDA, 11 conflicted by reading as positive, and 23 were never published.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.