Confoundle · a reasoning trap

Intención de tratar

Un ensayo lanza una moneda para que sus dos grupos empiecen siendo semejantes. Luego llega la vida real: la gente cambia de tratamiento, rechaza la operación o muere antes de recibirla. Parece justo comparar solo a quienes recibieron de verdad lo que se les asignó. No lo es, porque cumplir el plan depende de cómo iba cada uno, y a menudo de si sobrevivió. Excluirlos ordena en silencio los grupos por pronóstico, que es justo lo que el ensayo intenta medir. Cuenta a cada persona donde la puso la moneda y el resultado halagüeño puede desaparecer.

The rule

En cuanto excluyes a personas por lo que ocurrió después de aleatorizarlas, ya no comparas los grupos que creó la moneda, y las exclusiones suelen favorecer a un lado.

What it looks like

Entre los pacientes que realmente recibieron el tratamiento asignado, la cirugía salvó vidas. ¿Es esa la respuesta del ensayo?1.212 personas con insuficiencia cardiaca, aleatorizadas a tratamiento médico solo o a tratamiento médico más cirugía de derivación coronaria. Analizando a quienes recibieron lo que se les asignó, murió el 43 por ciento del grupo médico frente al 34 por ciento del grupo quirúrgico. La diferencia es estadísticamente significativa.
Contando a todos los que asignó la moneda, la diferencia no es significativa.Los 120 pacientes que faltan en el primer panel no son una muestra aleatoria. De los 55 excluidos del grupo quirúrgico, murieron 30, y la mayoría murió antes de llegar siquiera al quirófano. De los 65 excluidos del grupo médico, solo murieron 15, porque pasarse a la cirugía exigía vivir lo suficiente para recibirla. Así, la rama quirúrgica se deshizo de sus peores desenlaces y la médica perdió los mejores, y la diferencia casi se duplicó sin que cambiara el destino de ni un solo paciente:

Una comparación aleatorizada solo vale algo mientras sigue siendo aleatoria. El lanzamiento de la moneda hizo que los dos grupos fueran semejantes; decidir después quién cuenta, a partir de algo ocurrido tras el lanzamiento, lo deshace. Aquí el factor decisivo fue la propia supervivencia, que es el desenlace que se mide. Contar a cada persona en el grupo al que se le asignó, pasara lo que pasara luego, es el análisis que mantiene intacto el lanzamiento de la moneda.

Why it works

La aleatorización compra una sola cosa: dos grupos que solo difieren por azar, también en todo aquello que nadie midió. Todo lo que afirma un ensayo se apoya en eso. El problema es que los ensayos se hacen con personas, que cambian de rama, rechazan la operación, dejan las pastillas o mueren antes de empezar el tratamiento, y resulta tentador apartar a esas personas y mirar la comparación limpia que queda debajo. Pero que alguien cumpliera el protocolo es en sí mismo un desenlace. Los pacientes que pasan del tratamiento médico a la cirugía tienen que sobrevivir para ser operados. Los asignados a cirugía que nunca la reciben suelen ser los demasiado graves para operarse, o los que ya han muerto. Quitarlos es quitar pacientes seleccionados por su pronóstico, y el pronóstico es justo lo que el ensayo mide. El análisis por intención de tratar mantiene a cada persona en la rama en la que la puso la moneda, lo que suena absurdo cuando un paciente nunca recibió el tratamiento, y es precisamente la idea: mide el efecto de la decisión de tratar, en condiciones reales, que es también la decisión a la que se enfrenta un médico. Tiene un coste conocido. Los cambios de rama acercan las ramas entre sí, de modo que la intención de tratar tiende a encoger un efecto real hacia la nada. Ese fallo es conservador cuando intentas demostrar que un fármaco funciona, y peligroso cuando intentas demostrar que un fármaco no es peor que otro, y por eso los ensayos de no inferioridad publican los dos análisis y solo se creen cuando ambos coinciden.

Fuente

Velazquez EJ, Lee KL, Deja MA, et al. Coronary-artery bypass surgery in patients with left ventricular dysfunction (STICH). N Engl J Med. 2011;364(17):1607-1616, and its Supplementary Appendix, Table S5 (death from any cause at a median of 56 months, intention-to-treat and per-protocol populations).

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one