Confoundle · a reasoning trap

Le biais du taux de base

Un test peut être fiable à 95 % et un résultat positif peut quand même vouloir dire que vous allez presque sûrement bien. Tout dépend de la rareté de la chose. Si seulement 1 personne sur 1 000 a une maladie, alors parmi tous ceux qui sont positifs, les rares vrais cas sont enfouis sous une montagne de fausses alertes. La fiabilité n'est pas la même chose que vos probabilités réelles ; il faut d'abord se demander à quel point la chose est fréquente.

The rule

Quand une chose est rare, même un test très fiable produit bien plus de fausses alertes que de vrais cas ; un résultat positif peut donc encore vouloir dire que vous allez probablement bien.

What it looks like

Un test presque parfait vous dit que vous êtes malade. Faut-il vraiment s'inquiéter ?Cette maladie est rare : environ 1 personne sur 1 000 en est atteinte. Le test ne la manque jamais quand elle est réellement présente, et il ne donne une fausse alerte que chez environ 1 personne en bonne santé sur 20. Votre résultat vient de revenir positif.
Positif, mais presque certainement une fausse alerte.Comme presque personne n'a la maladie, le petit taux d'erreur du test fait tout le travail. Sur 1 000 personnes, 1 seule est vraiment malade, mais environ 50 personnes en bonne santé sont elles aussi positives. Parmi les ~51 résultats positifs, 1 seul est donc réel. Un test positif vous fait à peine passer de « très improbable » à « toujours improbable ».

Why it works

La fiabilité d'un test et vos probabilités réelles sont deux choses différentes. La fiabilité se mesure sur des personnes dont on sait déjà si elles sont malades ou saines. Mais un résultat positif pose la question inverse (étant donné ce positif, suis-je malade ?), et cela dépend du nombre de malades qu'il y avait à trouver au départ. Si seulement 1 personne sur 1 000 a la maladie, l'immense majorité en bonne santé produit un déluge de fausses alertes qui noie l'unique vrai cas. Rendez la maladie fréquente et le même test paraît excellent ; rendez-la rare et un positif ne veut pas dire grand-chose à lui seul.

Source

Casscells W, Schoenberger A, Grayboys TB. Interpretation by physicians of clinical laboratory results. N Engl J Med. 1978;299(18):999-1001. (Prevalence 1/1000, 5% false-positive rate; the modal physician answer was 95%, correct ≈ 2%.)

See if it fools you

This page gives the answer away. The puzzle version shows you the same figures first and asks you to commit before the reveal.

Play this one