Confoundle · a reasoning trap

Ошибка спектра

Точность теста звучит как факт о самом тесте, как максимальная скорость у автомобиля. Это не так. Тест, который выявляет 92 % инфекций у явно больных людей, может выявить едва половину у людей, больных лишь слегка, потому что находить там нечего. Всякий раз, когда вам говорят, что тест точен на 95 %, настоящий вопрос в том, на ком это измеряли и похожи ли те люди на вас хоть чем-то.

The rule

Точность теста не постоянна. Она меняется вместе с тем, насколько запущена, насколько типична и насколько очевидна болезнь у обследуемых пациентов.

What it looks like

Этот анализ мочи выявляет 92 % инфекций. Симптомы у вашего пациента неопределённые. Насколько он хорош теперь?Тест-полоска на инфекцию мочевых путей, сверенная с посевом мочи в приёмном отделении и в поликлинике, куда приходят без записи. Среди пациентов, у которых врач и так считал инфекцию вероятной, она выявила 49 из 53 тех, у кого инфекция действительно была. Чувствительность обычно приводят одним числом, как будто это неизменное свойство теста.
Едва половина. А второй столбец переворачивается в другую сторону.У пациентов, которых врач и так подозревал, инфекции были яркими, из тех, что тест-полоска замечает легко. У пациентов, которых считали маловероятно инфицированными, инфекции были лёгкими или ранними, и тест пропустил большинство из них. Теперь посмотрите на вторую панель, на пациентов, у которых инфекции не было вовсе: там тест был прав в 42 % случаев в первой группе и в 78 % во второй. Чувствительность и специфичность, это не свойства теста. Это свойства теста, встретившегося с определённым составом людей:

Why it works

Чувствительность, это доля по-настоящему больных людей, которых тест выявляет, а специфичность, это доля здоровых людей, которых он верно признаёт здоровыми. И то и другое приводят так, будто это принадлежит тесту, как его цена. Это не так. Тест улавливает сигнал, а сигнал при запущенной болезни сильнее, чем при ранней, поэтому чем тяжелее больные, которых вы обследуете, тем больше их тест находит. Для людей без болезни та же логика работает в обратную сторону: чем очевиднее они здоровы, тем легче тест признаёт их здоровыми. Вот почему тест, оценённый на явных случаях против явно здоровых людей, может выглядеть превосходно, а затем разочаровать в настоящей клинике, где почти все находятся где-то посередине. Отсюда две практические привычки. Прочитайте описание того, кого набирали, прежде чем читать цифры точности. И относитесь с наибольшим подозрением к исследованию, в котором больную и здоровую группы подбирали по отдельности, а не брали подряд идущих пациентов с одной и той же жалобой.

Источник

Lachs MS, Nachamkin I, Edelstein PH, Goldman J, Feinstein AR, Schwartz JS. Spectrum bias in the evaluation of diagnostic tests: lessons from the rapid dipstick test for urinary tract infection. Ann Intern Med. 1992;117(2):135-140. See also the published correction, Ann Intern Med. 1992;117(11):975.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one