Confoundle · a reasoning trap

Анализ по намерению лечить

Испытание бросает монету, чтобы две группы начинали одинаковыми. Потом вмешивается реальная жизнь: люди меняют лечение, отказываются от операции или умирают до неё. Кажется справедливым сравнить тех, кто действительно получил назначенное. Это не так, потому что соблюдение плана зависит от того, как шли у человека дела, и часто от того, выжил ли он. Отбрасывая их, вы незаметно сортируете группы по прогнозу, а прогноз и есть то, что испытание пытается измерить. Посчитайте каждого там, куда его поместила монета, и лестный результат может исчезнуть.

The rule

Как только вы исключаете людей за то, что случилось после рандомизации, вы сравниваете уже не те группы, которые создала монета, и исключения обычно играют на руку одной стороне.

What it looks like

Среди пациентов, которые действительно получили назначенное им лечение, операция спасала жизни. Это ли ответ испытания?1212 человек с сердечной недостаточностью, случайно распределённых на только лекарства или на лекарства плюс шунтирование. Если анализировать тех, кто получил назначенное, умерли 43 процента в группе лекарств против 34 процентов в группе операции. Различие статистически значимо.

Если считать всех, кого распределила монета, различие незначимо.120 пациентов, отсутствующих в первой панели, не случайная выборка. Из 55 исключённых в группе операции умерли 30, и большинство из них умерли, так и не попав на операционный стол. Из 65 исключённых в группе лекарств умерли лишь 15, потому что переход к операции требовал дожить до неё. Так хирургическая ветвь избавилась от худших исходов, а лекарственная потеряла лучшие, и разрыв почти удвоился, хотя судьба ни одного пациента не изменилась:

Рандомизированное сравнение чего-то стоит, только пока оно остаётся случайным. Бросок монеты сделал две группы одинаковыми; решать потом, кто идёт в счёт, опираясь на случившееся уже после броска, значит это разрушить. Здесь решающим фактором была сама выживаемость, то есть измеряемый исход. Учитывать каждого в той группе, куда его распределили, что бы ни случилось дальше, и есть анализ, сохраняющий бросок монеты.

Why it works

Рандомизация даёт одно: две группы, различающиеся только случайно, в том числе по всему, что никто не измерял. На этом держится всё, что заявляет испытание. Беда в том, что испытания проводят на людях, а люди переходят из группы в группу, отказываются от операции, бросают таблетки или умирают до начала лечения, и возникает соблазн отложить этих людей в сторону и посмотреть на чистое сравнение под ними. Но соблюдение протокола само по себе является исходом. Пациент, переходящий с лекарств на операцию, должен дожить до операции. Пациенты, распределённые на операцию, но так её и не получившие, часто слишком тяжелы, чтобы их оперировать, или уже мертвы. Убрать их значит убрать пациентов, отобранных по прогнозу, а прогноз и есть то, что измеряет испытание. Анализ по намерению лечить оставляет каждого в той ветви, куда его поместила монета, что звучит нелепо, когда пациент вовсе не получил лечения, и в этом ровно суть: он измеряет эффект решения лечить в реальных условиях, а именно такое решение и принимает врач. У этого есть известная цена. Переходы сближают ветви, поэтому анализ по намерению лечить обычно ужимает реальный эффект в сторону нуля. Это осторожная ошибка, когда вы пытаетесь доказать, что препарат работает, и опасная, когда вы пытаетесь доказать, что препарат не хуже другого; поэтому испытания не меньшей эффективности приводят оба анализа, и им верят только тогда, когда оба согласуются.

Источник

Velazquez EJ, Lee KL, Deja MA, et al. Coronary-artery bypass surgery in patients with left ventricular dysfunction (STICH). N Engl J Med. 2011;364(17):1607-1616, and its Supplementary Appendix, Table S5 (death from any cause at a median of 56 months, intention-to-treat and per-protocol populations).

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one