Confoundle · a reasoning trap

Ошибка базовой частоты

Тест может быть точен на 95 %, и всё же положительный результат может означать, что вы почти наверняка здоровы. Вся хитрость в том, насколько редко встречается явление. Если болезнь есть лишь у 1 человека из 1000, то среди всех, у кого тест положительный, немногие настоящие случаи погребены под грудой ложных тревог. Точность, это не то же самое, что ваши реальные шансы; сначала нужно спросить, насколько это распространено.

The rule

Когда что-то встречается редко, даже очень точный тест выдаёт куда больше ложных тревог, чем настоящих случаев, поэтому положительный результат всё равно может означать, что с вами, скорее всего, всё в порядке.

What it looks like

Почти идеальный тест говорит, что вы больны. Насколько стоит волноваться?Эта болезнь редкая: она есть примерно у 1 человека из 1000. Тест никогда не пропускает её, когда она действительно есть, и даёт ложную тревогу лишь примерно у 1 из 20 здоровых людей. Ваш результат только что оказался положительным.
Положительный, но почти наверняка ложная тревога.Поскольку болезнь есть почти ни у кого, основную работу делает небольшая доля ошибок теста. Среди 1000 человек по-настоящему болен только 1, но примерно 50 здоровых тоже получают положительный результат. Значит, среди ~51 положительного результата настоящий лишь 1. Положительный тест едва сдвигает вас от «очень маловероятно» к «всё ещё маловероятно».

Why it works

Точность теста и ваши реальные шансы, это две разные вещи. Точность измеряют на людях, о которых уже известно, больны они или здоровы. Но положительный результат задаёт обратный вопрос (учитывая этот положительный результат, болен ли я?), и это зависит от того, сколько больных вообще можно было найти. Если болезнь есть лишь у 1 из 1000, огромное здоровое большинство порождает поток ложных тревог, который захлёстывает единственный настоящий случай. Сделайте болезнь распространённой, и тот же тест выглядит превосходно; сделайте её редкой, и положительный результат сам по себе значит мало.

Источник

Casscells W, Schoenberger A, Grayboys TB. Interpretation by physicians of clinical laboratory results. N Engl J Med. 1978;299(18):999-1001. (Prevalence 1/1000, 5% false-positive rate; the modal physician answer was 95%, correct ≈ 2%.)

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one