Confoundle · a reasoning trap

O viés de espectro

A precisão de um teste soa como um fato sobre o teste, do jeito que um carro tem uma velocidade máxima. Não é. Um teste que detecta 92% das infecções em pessoas claramente doentes pode detectar apenas metade em pessoas só um pouco doentes, porque há menos coisa para encontrar. Sempre que lhe disserem que um teste é 95% preciso, a pergunta de verdade é em quem eles mediram isso, e se essas pessoas se parecem em alguma coisa com você.

The rule

A precisão de um teste não é fixa. Ela varia conforme o quanto a doença está avançada, o quanto ela é típica e o quanto ela é evidente nos pacientes que estão sendo testados.

What it looks like

Este teste de urina detecta 92% das infecções. Os sintomas do seu paciente são vagos. Quão bom ele é agora?Uma fita reagente para infecção urinária, comparada com uroculturas em um serviço de emergência e em um pronto atendimento. Entre os pacientes cujo médico já achava provável uma infecção, ela detectou 49 dos 53 que realmente tinham uma. A sensibilidade costuma ser divulgada como um número único, como se fosse uma propriedade fixa do teste.
Apenas metade. E a outra coluna vai no sentido contrário.Os pacientes de quem o médico já suspeitava tinham infecções floridas, do tipo que uma fita reagente identifica com facilidade. Os pacientes considerados improváveis de estar infectados tinham infecções leves ou iniciais, e o teste deixou passar a maioria delas. Agora olhe o segundo painel, os pacientes que não tinham infecção nenhuma: ali o teste acertou 42% das vezes no primeiro grupo e 78% no segundo. Sensibilidade e especificidade não são propriedades de um teste. São propriedades de um teste diante de uma mistura específica de pessoas:

Why it works

A sensibilidade é a parcela de pessoas realmente doentes que um teste detecta, e a especificidade é a parcela de pessoas saudáveis que ele descarta corretamente. As duas são divulgadas como se pertencessem ao teste, como o preço dele. Não pertencem. Um teste capta um sinal, e o sinal é mais forte na doença avançada do que na doença inicial, então quanto mais doentes forem os doentes que você testa, mais deles ele encontra. A mesma lógica vale no sentido inverso para as pessoas sem a doença: quanto mais claramente saudáveis elas forem, mais facilmente o teste as descarta. É por isso que um teste avaliado em casos evidentes contra não casos evidentes pode parecer excelente e depois decepcionar em uma clínica de verdade, onde quase todo mundo está em algum ponto intermediário. Daí seguem dois hábitos práticos. Leia a descrição de quem foi recrutado antes de ler os números de precisão. E desconfie ao máximo de um estudo cujos grupos de doentes e de saudáveis foram escolhidos separadamente, em vez de serem pacientes consecutivos com a mesma queixa inicial.

Fonte

Lachs MS, Nachamkin I, Edelstein PH, Goldman J, Feinstein AR, Schwartz JS. Spectrum bias in the evaluation of diagnostic tests: lessons from the rapid dipstick test for urinary tract infection. Ann Intern Med. 1992;117(2):135-140. See also the published correction, Ann Intern Med. 1992;117(11):975.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one