Confoundle · a reasoning trap
Intention de traiter
Un essai tire au sort pour que ses deux groupes partent semblables. Puis la vie réelle intervient : on change de traitement, on refuse l'opération, on meurt avant elle. Il semble équitable de comparer ceux qui ont vraiment reçu ce qui leur avait été attribué. Ça ne l'est pas, car le fait de s'en tenir au plan dépend de l'état de la personne, et souvent de sa survie. Les écarter trie discrètement les groupes selon le pronostic, c'est-à-dire selon ce que l'essai cherche justement à mesurer. Comptez chacun là où le tirage l'a placé, et le résultat flatteur peut disparaître.
The rule
Dès lors que vous excluez des personnes pour ce qui s'est passé après leur randomisation, vous ne comparez plus les groupes créés par le tirage au sort, et les exclusions favorisent en général un côté.
What it looks like
Une comparaison randomisée ne vaut quelque chose que tant qu'elle reste aléatoire. Le tirage au sort a rendu les deux groupes semblables ; décider après coup qui compte, sur la base de quelque chose survenu après le tirage, défait cela. Ici, le critère de décision était la survie elle-même, c'est-à-dire le critère que l'on mesure. Compter chacun dans le groupe qui lui a été attribué, quoi qu'il soit arrivé ensuite, est l'analyse qui laisse le tirage au sort intact.
Why it works
La randomisation achète une seule chose : deux groupes qui ne diffèrent que par le hasard, y compris sur tout ce que personne n'a mesuré. Tout ce qu'un essai affirme repose là-dessus. L'ennui, c'est que les essais portent sur des personnes, qui changent de bras, refusent l'opération, arrêtent les comprimés ou meurent avant le début du traitement, et il est tentant de mettre ces personnes de côté pour regarder la comparaison propre qui se trouve dessous. Mais le fait d'être resté dans le protocole est lui-même un critère de jugement. Les patients qui passent du traitement médical à la chirurgie doivent survivre pour être opérés. Les patients attribués à la chirurgie qui ne la reçoivent jamais sont souvent ceux qui étaient trop malades pour être opérés, ou déjà décédés. Les retirer revient à retirer des patients sélectionnés par leur pronostic, et le pronostic est précisément ce que l'essai mesure. L'analyse en intention de traiter garde chacun dans le bras où le tirage l'a placé, ce qui paraît absurde quand un patient n'a jamais reçu le traitement, et c'est exactement le but : elle mesure l'effet de la décision de traiter, en conditions réelles, qui est aussi la décision à laquelle un médecin fait face. Elle a un coût connu. Les changements de bras rapprochent les deux bras, si bien que l'intention de traiter tend à réduire vers zéro un effet réel. C'est une défaillance conservatrice quand on cherche à prouver qu'un médicament marche, et une défaillance dangereuse quand on cherche à prouver qu'un médicament n'est pas moins bon qu'un autre, raison pour laquelle les essais de non-infériorité rapportent les deux analyses et ne sont crus que lorsque les deux concordent.
Source
See if it fools you
This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.
Play this one