Confoundle · a reasoning trap

تحيز النشر

ابحث في الأدبيات الطبية عن دواء ما، فلن ترى البحث الذي أُجري. بل سترى البحث الذي كُتب وقُبل، والدراسات التي وجدت شيئاً واضحاً تنجو من تلك المِصفاة أفضل بكثير من الدراسات التي لم تجد شيئاً. ففي فئة واحدة من الأدوية، أظهر أرشيف الجهة التنظيمية الكامل أن نحو نصف التجارب كانت إيجابية، بينما أظهرت المجلات أنها كلها تقريباً كذلك. ولم يكن على أحد أن يكذب كي يحدث ذلك. فالتجارب المخيّبة ببساطة لم تُستكمل قط.

The rule

الأدبيات المنشورة ليست عينة من البحث الذي أُجري. إنها البحث الذي اختار أحدهم تقديمه واختار أحدهم طباعته، والنجاح ينجو من تلك المِصفاة أفضل بكثير من الإخفاق.

What it looks like

حكمان من تلك الأحكام يخصان جهتين مختلفتين، وهذا مهم. فتصنيف التجربة إيجابية أو سلبية كان قرار الجهة التنظيمية نفسها بشأن النتيجة التي تعهدت كل تجربة بقياسها مسبقاً. أما قراءة أن إحدى عشرة مطبوعة قد نقلت نتيجة إيجابية فكانت تقدير مؤلفي الدراسة، لا الجهة التنظيمية، وقد صرّحوا بذلك. وما ليس مسألة رأي هو الاثنتان والعشرون التي لم تظهر قط.

Why it works

لا شيء هنا يستلزم أن يكذب أحد. فالتجربة التي لا تجد شيئاً أكثر مللاً في الكتابة، وأصعب في إيجاد مجلة تنشرها، وغير مرحَّب بها تجارياً، لذا تنزلق إلى قاع الكومة ولا تُستكمل أبداً بهدوء. كرّر ذلك عبر حقل بأكمله، فتصبح الأدبيات الباقية أكثر إشراقاً على نحو منهجي مما كان عليه البحث. والأثر يتراكم، لأن المراجعات والإرشادات تُبنى على ما نُشر، فترث الفجوةَ كلُّ ما يأتي بعدها، وتبدو وكأنها أدلة متراكمة لا مِصفاة. وهناك أمران يقاومان ذلك. الأول هو التسجيل: أعلن التجربة ونتيجتها الأولية قبل أن تبدأ، فتترك النتيجة غير المنشورة ثقباً مرئياً بدل ألا تترك أثراً. والثاني هو مخطط القمع، الذي يستغل كون الدراسات الصغيرة تتبعثر على نطاق واسع بينما تتجمع الكبيرة، فإذا غابت الدراسات الصغيرة التي كان ينبغي أن تحط في الجانب المخيّب، جاء التبعثر مائلاً إلى جهة واحدة. ولا يعمل أي من العلاجين بأثر رجعي على أدبيات سبقتهما، ولهذا كان أرشيف الجهة التنظيمية هو السبيل الوحيد للإجابة عن هذا السؤال أصلاً.

المصدر

Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008;358(3):252-260. Counts are Table 1 (p. 255) and Figure 1A (p. 256): of 74 registered trials, the FDA judged 38 positive; 40 publications agreed with the FDA, 11 conflicted by reading as positive, and 23 were never published.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.