Confoundle · a reasoning trap

El sesgo de publicación

Busca en la literatura médica sobre un fármaco y no estás viendo la investigación que se hizo. Estás viendo la investigación que se redactó y se aceptó, y los estudios que encontraron algo claro sobreviven a ese filtro mucho mejor que los que no encontraron nada. Para una clase de fármacos, el archivo completo de la agencia reguladora mostró que alrededor de la mitad de los ensayos eran positivos, mientras que las revistas mostraban casi todos. Nadie tuvo que mentir para que eso ocurriera. Los decepcionantes sencillamente nunca se terminaron.

The rule

La literatura publicada no es una muestra de la investigación que se hizo. Es la investigación que alguien decidió enviar y alguien decidió imprimir, y el éxito sobrevive a ese filtro mucho mejor que el fracaso.

What it looks like

Lee las revistas y casi todos los ensayos de estos fármacos funcionaron. ¿Cuántos funcionaron de verdad?Doce antidepresivos, y todos los ensayos realizados para conseguir su aprobación tuvieron que registrarse ante la agencia reguladora estadounidense antes de empezar. Ese registro es algo raro en medicina: una lista completa, incluidos los ensayos que nadie llegó a redactar nunca. Ve en cambio a las revistas médicas y encontrarás 51 ensayos publicados, de los cuales 48 se leen como positivos.

La mitad. Un cara o cruz, impreso como una casi certeza.La agencia reguladora consideró positivos 38 de los 74 ensayos y no positivos los otros 36. De esos 36, veintidós no se publicaron nunca. Otros once sí llegaron a la imprenta, pero leyéndose como un resultado positivo. Así, un médico que busque en la literatura encuentra 48 ensayos positivos de 51 y concluye que el caso es abrumador, cuando el registro completo dice que estaba casi empatado:

Dos de esos juicios pertenecen a personas distintas, y eso importa. Positivo o negativo era la decisión de la propia agencia reguladora sobre el desenlace que cada ensayo había prometido medir de antemano. La lectura de que once publicaciones transmitían un resultado positivo era la valoración de los autores del estudio, no de la agencia, y ellos mismos lo dijeron. Lo que no es cuestión de opinión son los veintidós que nunca aparecieron.

Why it works

Nada de esto exige que nadie mienta. Un ensayo que no encuentra nada es más aburrido de redactar, más difícil de colocar y comercialmente incómodo, así que se va deslizando al fondo del montón y calladamente no se termina nunca. Repite eso en todo un campo y la literatura que sobrevive es sistemáticamente más luminosa de lo que fue la investigación. El efecto se acumula, porque las revisiones y las guías se construyen sobre lo publicado, así que todo lo que viene después hereda esa distancia y parece evidencia que se va sumando en lugar de un filtro. Dos cosas se le oponen. La primera es el registro: declara el ensayo y su desenlace principal antes de empezar, y un resultado sin publicar deja un agujero visible en lugar de ningún rastro. La segunda es el gráfico en embudo, que aprovecha que los estudios pequeños se dispersan mucho y los grandes se agrupan; si faltan los estudios pequeños que deberían haber caído del lado decepcionante, la dispersión sale torcida. Ninguno de los dos remedios funciona hacia atrás sobre una literatura anterior a ellos, y por eso el archivo de la agencia reguladora era la única manera de responder a esta pregunta.

Fuente

Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008;358(3):252-260. Counts are Table 1 (p. 255) and Figure 1A (p. 256): of 74 registered trials, the FDA judged 38 positive; 40 publications agreed with the FDA, 11 conflicted by reading as positive, and 23 were never published.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one