NOM :
PRÉNOM :
Statistique non paramétrique
Examen du 18/02/2020
Durée: 2h
Documents autorisés : 2 feuilles A4 recto-verso, manuscrites (à rendre avec la copie)
Répondez aux questions en cochant la bonne réponse. Vous pouvez détailler les calculs sur
une copie séparée si vous le souhaitez.
Soit (X, Y ) , (X1 , Y1 ) , . . . , (Xn , Yn ) des vecteurs aléatoires i.i.d. à valeurs dans Rd ×R, d ≥ 1.
On suppose que la loi de X est absolument continue par rapport à la mesure de Lebesgue sur
Rd , de densité f . Si elles existent, on note avec f 0 , f 00 , f (3) , f (4) , ..., les dérivées succesives de f .
On note m(x) = E(Y |X = x) la fonction de régression de Y sur X.
1. Soit d = 1, x ∈ R fixé, f continue en x et bornée sur R. Soit K : R → R la fonction
1 −u2
définie par K(u) = e , u ∈ R. On note avec Kh , pour h > 0, la fonction définie par
2 π
1 u
Kh (u) = K pour tout u ∈ R. Alors :
h h
(a) lim (Kh ∗ f )(x) = f (x); OUI NON
h→0
(b) lim (Kh ∗ f )(x) = K(x); OUI NON
h→0
Z
(c) lim (Kh ∗ f )(x) = f (x) K(u) du; OUI NON
h→0
1
(d) lim (Kh ∗ f )(x) = √ f (x). OUI NON
h→0 2 π
2. Soit K la densité d’une loi normale centrée et réduite. On suppose ici que d = 1 et que la
densité des Xi est continue et bornée sur R. Indiquez si les estimateurs suivants de f (x)
(x ∈ R fixé) sont asymptotiquement sans biais (E[fbn (x)] −→ f (x)) :
n→∞
n
1 X x − Xj
(a) fn (x) =
b K , avec hn = 2 n−1/4 ; OUI NON
nhn hn
j=1
n
1 X x − Xj
(b) fn (x) =
b Yj K , avec hn = n−1/5 ; OUI NON
nhn hn
j=1
n
X
(c) fbn (x) = K ((n − 1) (x − Xj )); OUI NON
j=2
n
1 X √
(d) fbn (x) = √ n − 1 (x − Xj ) .
K OUI NON
n
j=1
1
3. Soit K la densité d’une loi normale centrée et réduite, K 0 sa dérivée. On suppose que
n
1 X 0 x − Xj
la densité f est une fonction de classe C sur R. Soit f n,h (x) =
4 b0 K
nh2 h
j=1
l’estimateur à noyau de la dérivée f 0 (x) de f en x, x ∈ R (avec h > 0). Pour h "petit",
c’est-à-dire si h → 0 et si nh2 → ∞, le biais B(fb0 n,h (x)) = E[fb0 n,h (x)]−f 0 (x) et la variance
V (fb0 n,h (x)) de fb0 n,h (x) vérifient :
(a) B(fb0 n,h (x)) = O(h); OUI NON
(b) B(fb0 n,h (x)) = O(h2 ); OUI NON
(c) B(fb0 n,h (x)) = O(h4 ); OUI NON
1
(d) V (fb0 n,h (x)) = O( ); OUI NON
n
1
(e) V (fb0 n,h (x)) = O( ); OUI NON
nh
1
(f) V (fb0 n,h (x)) = O( 2 ). OUI NON
nh
n
1 X x − Xj
4. Soit K un noyau d’ordre 4 sur R tel que K(u) = 0 si |u| > 1, et soit fbn,h (x) = K
nh h
j=1
l’estimateur à noyau de f (x), x ∈ R (avec h > 0). On suppose que la densité f est une
fonction de classe C 3 sur R. Si h → 0 et nh4 → ∞, le biais B(fbn,h (x)) et la variance
V (fbn,h (x)) de fbn,h (x) vérifient :
(a) B(fbn,h (x)) = O(h); OUI NON
(b) B(fbn,h (x)) = O(h3 ); OUI NON
(c) B(fbn,h (x)) = O(h4 ); OUI NON
1
(d) V (fbn,h (x)) = O( ); OUI NON
n
1
(e) V (fbn,h (x)) = O( 3 ); OUI NON
nh
1
(f) V (fbn,h (x)) = O( 4 ). OUI NON
nh
1 1 2
5. Soit K ∗ (u) = (3 − u2 ) √ e−u /2 pour tout u ∈ R et K(u1 , u2 ) = K ∗ (u1 ) · K ∗ (u2 ) pour
2 2π
tout (u1 , u2 ) ∈ R2 . Alors :
(a) K ∗ est un noyau d’ordre 2 sur R; OUI NON
(b) K∗ est un noyau d’ordre 3 sur R; OUI NON
(c) K ∗ est un noyau d’ordre 4 sur R; OUI NON
(d) K est un noyau d’ordre 2 sur R2 ; OUI NON
(e) K est un noyau d’ordre 3 sur R2 ; OUI NON
(f) K est un noyau d’ordre 4 sur R2 . OUI NON
2
6. Soit K le noyau défini à la question 5: K(u1 , u2 ) = K ∗ (u1 )·K ∗ (u2 ) pour tout (u1 , u2 ) ∈ R2 ,
n
1 1 −u2 /2 1 X x − Xj
avec K (u) = (3−u ) √ e
∗ 2 pour tout u ∈ R. Soit fn,h (x) =
b K
2 2π nh2 h
j=1
l’estimateur à noyau de f (x), x ∈ R2 (avec h > 0). On suppose que la densité f est une
fonction de classe C 5 sur R2 . Si h → 0 et si nh5 → ∞, le biais B(fbn,h (x)) et la variance
V (fbn,h (x)) de fbn,h (x) vérifient :
(a) B(fbn,h (x)) = O(h3 ); OUI NON
(b) B(fbn,h (x)) = O(h4 ); OUI NON
(c) B(fbn,h (x)) = O(h5 ); OUI NON
1
(d) V (fbn,h (x)) = O( 3 ); OUI NON
nh
1
(e) V (fbn,h (x)) = O( 4 ); OUI NON
nh
1
(f) V (fbn,h (x)) = O( 5 ). OUI NON
nh
n
1 X x − Xj
7. Soit f de classe C 4 sur R et telle que f (x) = 0 si |x| > 2. Soit fbn,h (x) = K
nh h
j=1
un estimateur de Parzen-Rosenblatt de f (x), x ∈ R, avec K un noyau d’ordre 4 sur R et
tel que K(x) = 0 si |x| > 1. On cherche à choisir, en pratique, la fenêtre h qui minimise
l’erreur quadratique intégrée moyenne
Z h i2
M (h) = E fn,h (x) − f (x) dx .
b
R
Z h Z 2 Z
1 i2
(a) Soit a = 2 (4)
f (x) dx · u K(u)du , b = K 2 (u)du, b
4
a un estimateur
24
de a et bb un estimateur de b. On dit que le paramètre de lissage (la fenêtre) e
hn est
choisi par la méthode "plug-in" si :
b
i. hn = arg min a h +
e 4
; OUI NON
h nh
!
bb
ii. e
hn = arg min b ah4 + ; OUI NON
h nh
!
bb
iii. e
hn = arg min b ah8 + ; OUI NON
h nh2
!
bb
iv. ehn = arg min b ah8 + ; OUI NON
h nh4
−1/9
8b
a
v. hn =
e n−1/9 ; OUI NON
bb
−1/5
4b
a
vi. hn =
e n−1/5 . OUI NON
bb
3
n
1 · (−i) 1 X x − Xj
(b) Soit Kh (·) = K . On définit fbn,h (x) = K pour tout
h h (n − 1) h h
j=1
j6=i
i ∈ {1, . . . , n}. Alors :
h i
(−i)
i. E fbn,h (Xi ) = E [Kh (X1 − X2 )]; OUI NON
h i
(−i)
ii. E fbn,h (Xi ) = E [Kh (X − X1 )]; OUI NON
h i n−1
iii. E fn,h (Xi ) =
b E [Kh (X1 − X2 )]; OUI NON
n
h i n−1 K(0)
iv. E fbn,h (Xi ) = E [Kh (X1 − X2 )] + . OUI NON
n n
(c) Soit
Z h i2
M (h) = E fn,h (x) − f (x) dx ,
b
R
Z h n
i2 2Xb
CV 1(h) = fbn,h (x) dx − fn,h (Xi ) ,
R n
i=1
Z h n
i2 2 X b(−i)
CV 2(h) = fbn,h (x) dx − fn,h (Xi ) .
R n
i=1
Alors :
2
i. E [CV 2(h)] − E [CV 1(h)] = E [Kh (X1 − X2 )]; OUI NON
Z n
ii. E [CV 1(h)] = M (h) − f 2 (x)dx; OUI NON
R
iii. E [CV 1(h)] = M (h); OUI NON
Z
iv. E [CV 2(h)] = M (h) − f 2 (x)dx; OUI NON
R
v. E [CV 2(h)] = M (h). OUI NON
(d) Pour l’estimation de la densité f par fbn,bhn , choisir b
hn par validation croisée signifie
que :
i. b
hn = arg min M (h); OUI NON
h
ii. b
hn = arg min CV 1(h); OUI NON
h
iii. b
hn = arg min E[CV 2(h)]; OUI NON
h
iv. b
hn = arg min [CV 1(h) − CV 2(h)]. OUI NON
h
4
8. Soit
n
n X x − Xj
X x − Xj Yj K
Yj K h
h j=1
j=1 (−i) j6=i
m
b n,h (x) = n , m
b n,h (x) = n ,
X x − Xj X x − Xj
K K
h h
j=1 j=1
j6=i
pour tout i ∈ {1, . . . , n} fixé. On peut alors écrire :
h i h i h i
(a) E (m(X) − m b n,h (X))2 + E (m(X) − Y )2 = E (m b n,h (X) − Y )2 ;
OUI NON
h i h i h i
b n,h (X))2 = E (Y − m
(b) E (m(X) − m b n,h (X))2 − E (Y − m(X))2 ;
OUI NON
2 h i h i
(−i)
(c) E m(X) − m
b n,h (X) + E (m(X) − Y )2 = E (Y − m
b n,h (X))2 ;
OUI NON
2 2 h i
(−i) (−i)
(d) E Y −m
b n,h (X) =E b n,h (X) − m(X)
m + E (m(X) − Y )2 .
OUI NON
9. Pour déterminer, à partir des données (X1 , Y1 ) , . . .h, (Xn , Yn ), le meilleuri estimateur de
Nadaraya-Watson pour m par rapport au critère E (m (X) − m b n,h (X))2 , on considère
b b , avec b
m n,hn
hn choisi par validation croisée. Cela signifie que :
h i
(a) b
hn = arg min E (m(X) − m b n,h (X))2 ; OUI NON
h
h i
(b) b b n,h (X))2 ;
hn = arg min E (Y − m OUI NON
h
n
1 X (−i)
2
(c) b
hn = arg min b n,h (Xi ) ;
Yi − m OUI NON
h n
i=1
n
X
(d) b
hn = arg min b n,h (Xi ))2 ;
(Yi − m OUI NON
h
i=1
n 2
(−i)
X
(e) b
hn = arg min b n,h (Xi ) .
Yi − m OUI NON
h
i=1
5
10. On suppose que dans l’échantillon (X1 , Y1 ) , . . . , (Xn , Yn ), tous les Yi ne sont pas observés.
On souhaite estimer θ = E(Y ). Soit D1 , . . . Dn des variables binaires telles que
Di = 1, si Yi est observé,
Di = 0, sinon.
On suppose que (X1 , Y1 , D1 ) , . . . , (Xn , Yn , Dn ) sont i.i.d., de même loi que (X, Y, D), et
satisfont à l’hypothèse de données manquantes au hasard (MAR) : D ⊥⊥ Y | X, c’est-à-dire
P (D = 1 | Y, X) = P (D = 1 | X) = p(X),
où p(X) = P (D = 1|X) = E(D|X) est le score de propension. On définit :
n n
X x − Xj X x − Xj
D j Yj K Dj K
h h
j=1 j=1
rb(x) = n , pb(x) = n .
X x − Xj X x − Xj
K K
h h
j=1 j=1
On suppose vérifiées les conditions de régularité qui permettent d’obtenir la consistance
forte de ces deux estimateurs :
• rb(x) converge presque sûrement vers r(x) pour tout x, avec
r(x) = E(DY | X = x);
• pb(x) convergent presque sûrement vers p(x) pour tout x, avec
p(x) = E(D | X = x) = P (D = 1 | X = x).
On accepte aussi que ces mêmes conditions de régularité nous permettent, pour obtenir la
convergence des statistiques θb1 , . . . , θb7 définies par la suite, de remplacer rb et pb par leur
limites correspondantes r et p. Alors :
n
1X
(a) θb1 = Yi est un estimateur consistant de θ;
n
i=1
OUI NON
n
1 X Di Di rb(Xi )
(b) θ2 =
b Yi − 1 − est un estimateur consistant de θ;
n pb(Xi ) pb(Xi ) pb(Xi )
i=1
OUI NON
n
1 X Di
(c) θ3 =
b Yi est un estimateur consistant de θ;
n pb(Xi )
i=1
OUI NON
n
1X
(d) θb4 = Di Yi + (1 − Di ) rb(Xi ) est un estimateur consistant de θ;
n
i=1
OUI NON
n
1X
(e) θb5 = Di Yi + (1 − Di ) pb(Xi ) est un estimateur consistant de θ;
n
i=1
OUI NON
n
1X
(f) θ6 =
b rb(Xi ) est un estimateur consistant de θ;
n
i=1
OUI NON
n
1 X rb(Xi )
(g) θ7 =
b est un estimateur consistant de θ.
n pb(Xi )
i=1
OUI NON
