Confoundle · a reasoning trap
Le biais de publication
Cherchez dans la littérature médicale à propos d'un médicament et vous ne voyez pas la recherche qui a été faite. Vous voyez la recherche qui a été rédigée puis acceptée, et les études qui ont trouvé quelque chose de net survivent bien mieux à ce filtre que les études qui n'ont rien trouvé. Pour une classe de médicaments, l'archive complète de l'autorité de régulation montrait qu'environ la moitié des essais étaient positifs, alors que les revues les montraient presque tous positifs. Personne n'a eu besoin de mentir pour que cela arrive. Les essais décevants n'ont tout simplement jamais été terminés.
The rule
La littérature publiée n'est pas un échantillon de la recherche qui a été faite. C'est la recherche que quelqu'un a choisi de soumettre et que quelqu'un a choisi d'imprimer, et le succès survit à ce filtre bien mieux que l'échec.
What it looks like
Deux de ces jugements sont l'œuvre de personnes différentes, et cela compte. Positif ou négatif était la décision propre de l'autorité de régulation, portant sur le critère que chaque essai avait promis de mesurer à l'avance. La lecture selon laquelle onze publications transmettaient un résultat positif était l'appréciation des auteurs de l'étude, pas celle de l'autorité de régulation, et ils l'ont dit. Ce qui n'est pas affaire d'opinion, ce sont les vingt-deux qui n'ont jamais paru.
Why it works
Rien ici n'exige que quiconque mente. Un essai qui ne trouve rien est plus ennuyeux à rédiger, plus difficile à placer et commercialement importun : il glisse donc au bas de la pile et, sans bruit, n'est jamais terminé. Répétez cela à l'échelle d'un domaine et la littérature survivante est systématiquement plus ensoleillée que ne l'était la recherche. L'effet se cumule, car les revues de synthèse et les recommandations sont bâties sur ce qui a été publié : l'écart est hérité par tout ce qui vient ensuite et ressemble à des preuves qui s'accumulent plutôt qu'à un filtre. Deux choses lui résistent. La première est l'enregistrement : déclarez l'essai et son critère de jugement principal avant de commencer, et un résultat non publié laisse un trou visible au lieu de ne laisser aucune trace. La seconde est le graphique en entonnoir, ou funnel plot, qui exploite le fait que les petites études se dispersent largement et que les grandes se regroupent ; si les petites études qui auraient dû tomber du côté décevant manquent, la dispersion ressort de travers. Aucun de ces deux remèdes ne fonctionne rétrospectivement sur une littérature qui leur est antérieure, et c'est pourquoi l'archive de l'autorité de régulation était le seul moyen de répondre à cette question.
Source
See if it fools you
This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.
Play this one