Confoundle · a reasoning trap

Систематическая ошибка публикаций

Поищите медицинскую литературу о препарате, и вы увидите не те исследования, которые провели. Вы увидите те, которые описали и приняли к печати, а исследования, нашедшие что-то отчётливое, проходят через этот фильтр гораздо лучше, чем исследования, не нашедшие ничего. Для одного класса препаратов полный архив регулятора показал, что положительными были около половины исследований, тогда как по журналам выходило почти все. Никому не пришлось для этого лгать. Разочаровывающие работы просто так и не довели до конца.

The rule

Опубликованная литература, это не выборка из проведённых исследований. Это те исследования, которые кто-то решил подать в журнал и кто-то решил напечатать, а успех проходит через этот фильтр гораздо лучше, чем неудача.

What it looks like

По журналам почти каждое исследование этих препаратов сработало. Сколько сработало на самом деле?Двенадцать антидепрессантов, и каждое исследование, проведённое ради их одобрения, должно было быть зарегистрировано у американского регулятора ещё до начала. Этот реестр, редкая для медицины вещь: полный список, включая те исследования, которые никто так и не описал в статье. А если пойти вместо этого в медицинские журналы, там обнаружится 51 опубликованное исследование, из которых 48 читаются как положительные.

Половина. Бросок монетки, напечатанный как почти полная уверенность.Регулятор счёл положительными 38 исследований из 74, а 36 не счёл. Из этих 36 двадцать два вообще никогда не публиковались. Ещё одиннадцать до печати добрались, но читаются там как положительный результат. Поэтому врач, ищущий в литературе, находит 48 положительных исследований из 51 и заключает, что доводы неоспоримы, тогда как полная запись говорит, что дело было почти вничью:

Два из этих суждений принадлежат разным людям, и это важно. Положительным или отрицательным исследование признавал сам регулятор, по тому исходу, который каждое исследование заранее обещало измерить. А то, что одиннадцать публикаций передают положительный результат, это оценка авторов работы, а не регулятора, и они об этом написали. Что не является вопросом мнения, так это двадцать два исследования, которые так и не появились.

Why it works

Здесь никому не нужно лгать. Исследование, которое ничего не нашло, скучнее описывать, труднее пристроить в журнал и коммерчески нежеланно, поэтому оно сползает на дно стопки и тихо так и не доводится до конца. Повторите это по всей области, и уцелевшая литература окажется систематически радужнее, чем были сами исследования. Эффект накапливается, потому что обзоры и клинические рекомендации строят на опубликованном, так что разрыв наследует всё, что идёт следом, и выглядит он как накопление доказательств, а не как фильтр. Против этого работают две вещи. Первая, это регистрация: объявите исследование и его основной исход до начала, и неопубликованный результат оставит заметную дыру, а не исчезнет бесследно. Вторая, это воронкообразный график, который использует то, что маленькие исследования разбросаны широко, а крупные кучкуются; если маленьких исследований, которые должны были лечь на разочаровывающую сторону, не хватает, разброс выходит перекошенным. Задним числом ни то ни другое не работает на литературе, возникшей раньше них, и именно поэтому архив регулятора был единственным способом вообще ответить на этот вопрос.

Источник

Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008;358(3):252-260. Counts are Table 1 (p. 255) and Figure 1A (p. 256): of 74 registered trials, the FDA judged 38 positive; 40 publications agreed with the FDA, 11 conflicted by reading as positive, and 23 were never published.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one