Confoundle · a reasoning trap

El fenómeno de Will Rogers

Coge a los peores miembros de un grupo bueno y pásalos a un grupo malo. La media del grupo bueno sube, porque se han ido los más flojos. La media del grupo malo sube también, porque los recién llegados son mejores que los que ya tenía. Todos los grupos mejoran y no ha ocurrido nada real. Así es como unas pruebas de imagen más finas pueden hacer que la supervivencia parezca mejor en todos los estadios de una enfermedad mientras vive y muere exactamente la misma gente.

The rule

Traslada miembros de un grupo a otro y puedes elevar la media de todos los grupos a la vez, mientras el panorama general se mantiene exactamente igual.

What it looks like

Mejor supervivencia en todos y cada uno de los estadios. ¿Vivió alguien realmente más tiempo?Un mismo grupo de 131 pacientes con cáncer de pulmón, tratados en 1977, clasificados en estadios dos veces. Primero usando solo la información que podían reunir los hospitales de antes, y después de nuevo tras las nuevas pruebas de imagen. A nadie se le trató de forma distinta. Lo único que cambió fue la clasificación.

Idéntico. Setenta y dos supervivientes en ambos casos.Las nuevas pruebas de imagen detectaron una extensión de la enfermedad que el estudio antiguo había pasado por alto, así que algunos pacientes salieron de estadios mejores para pasar a otros peores. Cada uno de ellos estaba entre los más graves del estadio que dejaba, así que la media de ese estadio subió. Y cada uno estaba también entre los menos graves del estadio al que llegaba, así que esa media subió también. Todos los estadios mejoraron y no cambió el desenlace de ni una sola persona:

Why it works

Imagina dos cubos, uno de buenos resultados y otro de malos. Saca los peores elementos del cubo bueno y échalos en el malo, donde pasan a ser los mejores de un mal lote. La media del cubo bueno sube porque se han ido sus miembros más débiles. La media del cubo malo sube porque ha ganado miembros mejores que los suyos. Las dos medias mejoran y nada ha cambiado en ningún individuo. En medicina, la redistribución la hacen unas pruebas de imagen mejores, que encuentran enfermedad que siempre estuvo ahí pero antes era invisible. Por eso la supervivencia por estadios puede mejorar en todos los frentes en una época en la que los tratamientos en sí no mejoraron, y por eso comparar estadios entre épocas con tecnologías distintas resulta traicionero.

Fuente

Feinstein AR, Sosin DM, Wells CK. The Will Rogers phenomenon: stage migration and new diagnostic techniques as a source of misleading statistics for survival in cancer. N Engl J Med. 1985;312(25):1604-1608.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one