Confoundle · a reasoning trap

O viés de publicação

Procure na literatura médica sobre um medicamento e você não está vendo a pesquisa que foi feita. Você está vendo a pesquisa que foi redigida e aceita, e os estudos que encontraram algo claro sobrevivem a esse filtro muito melhor do que os estudos que não encontraram nada. Para uma classe de medicamentos, o arquivo completo da agência reguladora mostrou que cerca de metade dos ensaios era positiva, enquanto as revistas mostravam quase todos eles. Ninguém precisou mentir para isso acontecer. Os decepcionantes simplesmente nunca foram terminados.

The rule

A literatura publicada não é uma amostra da pesquisa que foi feita. É a pesquisa que alguém escolheu submeter e alguém escolheu imprimir, e o sucesso sobrevive a esse filtro muito melhor do que o fracasso.

What it looks like

Leia as revistas científicas e quase todos os ensaios desses medicamentos deram certo. Quantos deram certo de verdade?Doze antidepressivos, e todo ensaio feito para conseguir a aprovação deles tinha que ser registrado na agência reguladora americana antes de começar. Esse registro é a coisa rara na medicina: uma lista completa, incluindo os ensaios que ninguém nunca chegou a redigir. Vá às revistas médicas e você encontra 51 ensaios publicados, dos quais 48 se leem como positivos.

Metade. Um cara ou coroa, impresso como uma quase certeza.A agência reguladora julgou 38 dos 74 ensaios positivos e 36 não. Desses 36, vinte e dois nunca chegaram a ser publicados. Outros onze chegaram a ser impressos, mas se lendo como um resultado positivo. Então um médico que procura na literatura encontra 48 ensaios positivos em 51 e conclui que o caso é esmagador, quando o registro completo diz que estava perto do empate:

Dois desses julgamentos pertencem a pessoas diferentes, e isso importa. Positivo ou negativo era a decisão da própria agência reguladora sobre o desfecho que cada ensaio havia prometido medir de antemão. A leitura de que onze publicações transmitiam um resultado positivo era a avaliação dos autores do estudo, não da agência reguladora, e eles disseram isso. O que não é uma questão de opinião são os vinte e dois que nunca apareceram.

Why it works

Nada aqui exige que alguém minta. Um ensaio que não encontra nada é mais chato de redigir, mais difícil de colocar em uma revista e comercialmente indesejado, então escorrega para o fundo da pilha e simplesmente nunca é terminado. Repita isso em um campo inteiro e a literatura sobrevivente fica sistematicamente mais otimista do que a pesquisa foi. O efeito se acumula, porque as revisões e as diretrizes são construídas sobre o que foi publicado, então a distorção é herdada por tudo o que vem depois e parece uma evidência que se acumula, e não um filtro. Duas coisas reagem a isso. A primeira é o registro: declare o ensaio e o seu desfecho primário antes de começar, e um resultado não publicado deixa um buraco visível em vez de nenhum rastro. A segunda é o gráfico de funil, que explora o fato de que os estudos pequenos se espalham muito e os grandes se agrupam; se os estudos pequenos que deveriam ter caído no lado decepcionante estão faltando, a dispersão sai torta. Nenhuma das duas soluções funciona retrospectivamente sobre uma literatura anterior a elas, e é por isso que o arquivo da agência reguladora foi a única forma de responder a esta pergunta.

Fonte

Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008;358(3):252-260. Counts are Table 1 (p. 255) and Figure 1A (p. 256): of 74 registered trials, the FDA judged 38 positive; 40 publications agreed with the FDA, 11 conflicted by reading as positive, and 23 were never published.

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one