Sensibilité, spécificité,
courbe ROC etc.
Gilbert Saporta
Conservatoire National des Arts et Métiers
[email protected]
http://cedric.cnam.fr/~saporta
octobre 2012
1
1. Dépistage, diagnostic et tests
2
• Faux positifs : 49
• Faux négatifs: 14
• Vrais positifs: 56
• Vrais négatifs: 461
3
• Sensibilité (Se) : proportion de vrais
positifs parmi les personnes à dépister:
56/70=80%
• Spécificité (Sp): proportion de vrais
négatifs chez les non-malades:
461/510=90%
4
• Facile d’avoir une bonne sensibilité:
déclarer tout le monde positif… mais peu
spécifique
• Un bon test doit être sensible et spécifique
• Sachant que le test est positif, quelle est la
probabilité d’être vraiment malade?
valeur prédictive positive ou VPP
On définit également la valeur prédictive
négative
5
Calcul de la VPP
• Nécessite de connaitre la prévalence p
• VPP doit être > p
Application de la formule de Bayes
P(+ / M ) P( M )
= P( M =
VPP / +)
P(+ / M ) P( M ) + P(+ / M ) P( M )
pSe
VPP =
pSe + (1 − Sp )(1 − p )
6
• Exercice 1 (Valleron, 2007, p.20):
Un test a une sensibilité de 0.99, une
spécificité de 0.9. La maladie touche un
sujet sur 100. Quelles sont les proportions
de faux négatifs et faux positifs dans la
population? Calculer la VPP et la VPN
• Exercice 2 : calculer l’IC à 95% de la VPN
dans l’exemple introductif
7
• Dépistage des maladies rares
– Si p est très faible la VPP est faible si la
spécificité n’est pas TRES élevée
© Valleron, 2007
– dépistage systématique ou dépistage orienté?
8
2. La courbe ROC
• Receiver Operating Characteristic
(transmission de signal)
• Un test s’appuie souvent sur une mesure
quantitative continue S
– Au-delà d’un seuil s, on est déclaré positif
– Comment choisir le seuil s?
– Comment varient la sensibilité et la spécificité
en fonction du seuil s?
9
• Retour sur la théorie des tests: groupe à
détecter pour des valeurs élevées de S
Risque de première espèce = α
taux de faux positifs
Risque de deuxième espèce= β
taux de faux négatifs
10
• Sensibilité 1-β= P(S>s/M):% de vrais
positifs= puissance du test
• Spécificité 1-α=P(S<s/NM) :% de vrais
négatifs
11
Courbe ROC
• Evolution de 1-β puissance du test en
fonction de α, risque de première espèce
lorsque le seuil varie
• Proportion de vrais positifs en fonction de
la proportion de faux positifs
12
• Exemple : répartition du pic de fièvre pour les
vraies et fausses grippes
13
14
Un site: http://www.anaesthetist.com/mnm/stats/roc/
15
Comparer des courbes ROC correspondant à
plusieurs tests
16
Choix du seuil optimal à l’aide de la
courbe ROC
Le seuil correspondant
• au point le plus proche de l’idéal (1;1)
• au point le plus loin de la diagonale
17
Choix du seuil optimal selon la minimisation
du coût d’erreur
CM coût de déclarer malade à tort
CNM coût de déclarer non malade à tort
Espérance du coût global pour un seuil s:
p(1-Se(s)) CNM + (1-p)(1-Sp(s)) CM
Se(s) = FM(s) fonction de répartition des malades
1-Sp(s)=FNM(s) fonction de répartition des non
malades
18
Coût minimum si la dérivée par rapport à s
est nulle
pf M ( s )CNM − (1 − p ) f NM ( s )CM =0
f M (s) CM 1 − p
=
f NM ( s ) CNM p
Rapport des densités = pente de la
tangente à la courbe ROC
19
Exercice Tracer la courbe ROC
correspondant aux données suivantes:
20
3. L’AUC ou surface sous la
courbe ROC (Area Under Curve)
• Plus l’AUC est grand, meilleur est le test.
• Fournit un ordre partiel sur les tests
• Problème si les courbes ROC se croisent
• Courbe ROC et surface sont des mesures
intrinsèques de séparabilité, invariantes
pour toute transformation monotone
croissante de la mesure S
21
• Surface théorique sous la courbe ROC:
P(X1>X2) si on tire au hasard et
indépendemment une observation M et
une observation nonM
s = −∞
=
AUC ∫s = +∞
(1 − β ( s ))dα ( s )
• Comment estimer l’AUC?
– mesurer la surface
– estimer P(X1>X2)
22
Cas de données individuelles: on mesure
S pour n1 individus M et n2 individus
nonM
Pour un test parfait, les mesures des n1
individus M sont supérieures aux mesures
des n2 individus nonM
23
Mesures de concordance
• Paires formées d’une obs M et d’une NM .
– Nombre de paires t=n1n2 n=n1+n2
• Si l’observation M a une valeur de S plus
grande que celle de l’observation NM la
paire est dite concordante.
• nc = nombre de paires concordantes; nd =
nombre de paires discordantes; t - nc - nd
= nombre d’ex-aequo
24
• La surface sous la courbe est estimée par
le pourcentage de paires concordantes
• Lien avec les tests U de Mann-Whitney et
W de Wilcoxon nc= U
U+W= n1n2+0.5n1(n1+1)
AUC=U/n1n2
25
Autres mesures
• D de Somers = (nc - nd) / t
• Gamma = (nc - nd) / (nc + nd)
• Tau-a = 2 (nc - nd) / n(n-1)
Indice de Gini
– Double de la surface entre la courbe ROC et la
diagonale
G=2AUC-1
– En l’absence d’ex-aequo: G identique au D de
Somers
26
Exemple « Infarctus » n1=51, n2=50
Obs C PRONO FRCAR INCAR INSYS PRDIA PAPUL PVENT REPUL
1 2 SURVIE 90 1.71 19.0 16 19.5 16.0 912
2 1 DECES 90 1.68 18.7 24 31.0 14.0 1476
3 1 DECES 120 1.40 11.7 23 29.0 8.0 1657
4 2 SURVIE 82 1.79 21.8 14 17.5 10.0 782
5 1 DECES 80 1.58 19.7 21 28.0 18.5 1418
6 1 DECES 80 1.13 14.1 18 23.5 9.0 1664
7 2 SURVIE 94 2.04 21.7 23 27.0 10.0 1059
8 2 SURVIE 80 1.19 14.9 16 21.0 16.5 1412
9 2 SURVIE 78 2.16 27.7 15 20.5 11.5 759
10 2 SURVIE 100 2.28 22.8 16 23.0 4.0 807
11 2 SURVIE 90 2.79 31.0 16 25.0 8.0 717
12 2 SURVIE 86 2.70 31.4 15 23.0 9.5 681
13 2 SURVIE 80 2.61 32.6 8 15.0 1.0 460
14 2 SURVIE 61 2.84 47.3 11 17.0 12.0 479
15 2 SURVIE 99 3.12 31.8 15 20.0 11.0 513
16 2 SURVIE 92 2.47 26.8 12 19.0 11.0 615
17 2 SURVIE 96 1.88 19.6 12 19.0 3.0 809
18 2 SURVIE 86 1.70 19.8 10 14.0 10.5 659
19 2 SURVIE 125 3.37 26.9 18 28.0 6.0 665
20 2 SURVIE 80 2.01 25.0 15 20.0 6.0 796
27
28
29
Score optimal
30
4. Ciblage et courbe de lift
• Dépistage systématique à l’aide d’un
marqueur numérique S
• Quelle fraction de la population à risque
(de prévalence p) détecte t-on en ciblant
les x% de la population ayant le marqueur
supérieur à un seuil s?
31
% de la cible
32
Surface sous la courbe lift
• Pourcentage d’individus ayant un score>s
p (1 − β ) + (1 − p )α
• Surface
L= ∫ (1 − β )d { p(1 − β ) + (1 − p)α } =
p (1 − β )d (1 − β ) + (1 − p) (1 − β )dα
∫ ∫
p
= + (1 − p) AUC
2
33
Coefficient Ki (Kxen)
• Ki=(surface entre lift
estimé et aléatoire) /
(surface entre lift idéal
et aléatoire)
• Ki=2(surface ROC)-1
1
L−
=
Ki =2 p + 2(1 − p) AUC =
−1
2 AUC=
− 1 Gini
1− p 1− p
2
34
