Confoundle · a reasoning trap

Intenção de tratar

Um ensaio lança uma moeda para que os seus dois grupos comecem iguais. Depois entra a vida real: as pessoas mudam de tratamento, recusam a operação ou morrem antes dela. Parece justo comparar apenas quem recebeu o que lhe foi atribuído. Não é, porque cumprir o plano depende do estado em que cada pessoa estava, e muitas vezes de ter sobrevivido. Excluí-las ordena discretamente os grupos por prognóstico, que é exatamente o que o ensaio procura medir. Conte-se cada pessoa onde a moeda a colocou, e o resultado lisonjeiro pode desaparecer.

The rule

Assim que se excluem pessoas por causa do que aconteceu depois da aleatorização, já não se comparam os grupos que a moeda criou, e as exclusões costumam favorecer um dos lados.

What it looks like

Entre os pacientes que realmente receberam o tratamento que lhes foi atribuído, a cirurgia salvou vidas. É essa a resposta do ensaio?1.212 pessoas com insuficiência cardíaca, aleatorizadas para medicação isolada ou para medicação mais cirurgia de bypass. Analisando quem recebeu o que lhe foi atribuído, morreram 43 por cento do grupo da medicação contra 34 por cento do grupo da cirurgia. A diferença é estatisticamente significativa.
Contando todos os que a moeda atribuiu, a diferença não é significativa.Os 120 pacientes que faltam no primeiro painel não são uma amostra aleatória. Dos 55 retirados do grupo da cirurgia, 30 morreram, e a maioria morreu antes sequer de chegar a uma mesa de operações. Dos 65 retirados do grupo da medicação, apenas 15 morreram, porque passar para a cirurgia exigia viver o tempo suficiente para a fazer. Assim, o braço cirúrgico livrou-se dos seus piores desfechos e o braço médico perdeu os seus melhores, e a diferença quase duplicou sem que o destino de um único paciente mudasse:

Uma comparação aleatorizada só vale alguma coisa enquanto continuar a ser aleatória. O lançamento da moeda tornou os dois grupos semelhantes; decidir depois quem conta, com base em algo que aconteceu após o lançamento, desfaz isso. Aqui o fator decisivo foi a própria sobrevivência, que é o desfecho a ser medido. Contar cada pessoa no grupo a que foi atribuída, aconteça o que acontecer a seguir, é a análise que mantém intacto o lançamento da moeda.

Why it works

A aleatorização compra uma coisa: dois grupos que diferem apenas por acaso, incluindo em tudo aquilo que ninguém mediu. Tudo o que um ensaio afirma assenta nisso. O problema é que os ensaios são feitos em pessoas, que trocam de tratamento, recusam a operação, deixam de tomar os comprimidos ou morrem antes de o tratamento começar, e é tentador pôr essas pessoas de lado e olhar para a comparação limpa que fica por baixo. Mas ter cumprido o protocolo é, em si mesmo, um desfecho. Os pacientes que passam da medicação para a cirurgia têm de sobreviver para serem operados. Os pacientes atribuídos à cirurgia que nunca a fazem são muitas vezes os que estão demasiado doentes para ser operados, ou já morreram. Retirá-los é retirar pacientes selecionados pelo prognóstico, e o prognóstico é aquilo que o ensaio mede. A intenção de tratar mantém cada pessoa no braço em que a moeda a colocou, o que parece absurdo quando um paciente nunca recebeu o tratamento, e é precisamente esse o ponto: mede o efeito da decisão de tratar, em condições reais, que é também a decisão com que um médico se depara. Tem um custo conhecido. As trocas aproximam os braços, pelo que a intenção de tratar tende a encolher um efeito real na direção do nada. É uma falha conservadora quando se procura provar que um fármaco funciona, e perigosa quando se procura provar que um fármaco não é pior do que outro, razão pela qual os ensaios de não inferioridade reportam ambas as análises e só são acreditados quando as duas concordam.

Fonte

Velazquez EJ, Lee KL, Deja MA, et al. Coronary-artery bypass surgery in patients with left ventricular dysfunction (STICH). N Engl J Med. 2011;364(17):1607-1616, and its Supplementary Appendix, Table S5 (death from any cause at a median of 56 months, intention-to-treat and per-protocol populations).

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one