T.D.

V - Estimation

I - Construction d’estimateurs E [Xn ] = p. Ainsi,

h i p n−1
2
E Xn = + p2
Solution de l’exercice 1. n  n
n h i E X
1. D’après la définition, Yn =
P
Xi est une somme de n variables 2 n n−1 2
E Xn = + p
i=1 n n
aléatoires indépendantes de mêmes lois de Bernoulli de paramètre p. h i 1   n−1
2
Ainsi, Yn suit une loi binomiale, Yn ,→ B(n, p). E Xn − E Xn = p2
 n  n
2. Comme Yn ,→ B(n, p), alors n 2 1
E X n − X n = p2
n−1 n
E [Yn ] = np,
 
n 2 1
E Xn − X n = p2 .
V (Yn ) = np(1 − p). n−1 n−1

D’après la formule de Kœnig-Huygens, n 2 1

Ainsi, n−1 X n − n−1 X n est un estimateur sans biais de p2 .
V (Yn ) = E Yn2 − E [Yn ]2 Remarque. Comme Xi est à valeurs dans {0, 1}, alors Xi2 = Xi . Ainsi,
 

E Yn2 = V (Yn ) + E [Yn ]2

 
n
!2 n
n 2 1 n 1X 1 X
= np(1 − p) + (np)2 Xn − Xn = × Xi − Xi
n−1 n−1 n−1 n (n − 1)n
i=1 i=1
= np(1 − p + np)  
n n
= np(1 + (n − 1)p). 1 X X X
=  Xi2 + Xi Xj − Xi 
(n − 1)n
i=1 1⩽i̸=j⩽n i=1
3. En utlisant la question précédente et la linéarité de l’espérance, 1 X
= Xi Xj
E Yn2 = np(1 + (n − 1)p)
  n(n − 1)
1⩽i̸=j⩽n
2
h i
2
E n2 X n = np(1 + (n − 1)p)
X
= Xi Xj
n(n − 1)
h i p(1 + (n − 1)p) 1⩽i<j⩽n
2
E Xn = . 1 X
n = n
Xi Xj .
h i 2 1⩽i<j⩽n
2 2
Ainsi, si n ̸= 1, alors E Xn ̸= p et X n n’est pas un estimateur sans
1
Ainsi, un estimateur sans biais de p2 est
P
biais de p2 . n Xi Xj (et il est aisé
( ) 1⩽i<j⩽n
2
Pour obtenir un estimateur sans biais de p2 , on utilise le fait que de vérifier directement que l’espérance de cet estimateur est bien p2 ).

Lycée Ozenne 49 A. Camanes

T.D. V - Estimation D2

n
1
2e méthode. En utilisant la variance empirique, X n − n−1
P
(Xi − X n )2 3. En utilisant une identité remarquable, puis les propriétés de la
i=1 somme,
est un estimateur sans biais de p − p(1 − p) = p2 n
De plus, comme Xi (Ω) = {0, 1}, alors Xi2 = Xi et
X
nsn = (Xi − X n )2
n n i=1
1 X 1 X 2 2

n 
(Xi − X n )2 = Xi − 2Xi Xn + X n X 2

n−1
i=1
n−1
i=1
= Xi2 − 2Xi X n + X n
n n i=1
1 X 2 X n 2 n n n
= Xi − Xn Xi + Xn X X X 2
n−1
i=1
n−1 n−1
i=1
= Xi2 − 2X n Xi + Xn
i=1 i=1 i=1
n 2n 2 n 2
Xn −= Xn + Xn n
n−1 n−1 n−1 2 2
X
n n = Xi2 − 2nX n + nX n
2
= Xn − X i=1
n−1 n−1 n n
n   1X 2 2
1 X 2 n n 2 sn = Xi − X n .
Xn − (Xi − X n ) = 1 − Xn + Xn n
n−1 n−1 n−1 i=1
i=1
n 2 1 Ainsi, en utilisant la linéarité de l’espérance et les questions précédentes,
= Xn − X n,
n−1 n−1 n
1 X  2 h i
2
E [sn ] = E Xi − E X n
et on retrouve l’estimateur précédent. n
i=1
n
Solution de l’exercice 2. 1 X    2 
V (Xi ) + E [Xi ]2 − V X n + E X n


=
1. Comme X n est une fonction de X1 , . . . , Xn , alors X n est bien un n
i=1
estimateur. De plus, n  2 
1 X σ
= (σ 2 + m2 ) − + m2
" n # n n n n
  1X 1X 1X i=1
E Xn = E Xi = E [Xi ] = m = m.  2 
n n n 2 2 σ 2 n−1 2
i=1 i=1 i=1 =σ +m − +m = σ .
n n
Ainsi, X n est un estimateur sans biais de m.
4. D’après la question précédente, dès que n ̸= 1, la variable aléatoire
2. Comme les variables aléatoires X1 , . . . , Xn sont indépendantes, sn n’est pas un estimateur sans biais de σ 2 .
d’après la propriété de la variance,
5. Sn est une fonction de X1 , . . . , Xn donc c’est un estimateur.
n
n n n D’après la question précédente, Sn = n−1 sn . Ainsi,
!
X X X
V Xi = V (Xi ) = σ 2 = nσ 2
n n n−1 2
i=1 i=1 i=1 E [Sn ] = E [sn ] = × σ = σ2.
n
! n
! n−1 n−1 n

1X 1 X σ2
V Xn = V Xi = V Xi = . n
n n2 n Sn = 1 P
(Xi − X n )2 est donc un estimateur sans biais de σ 2 .
i=1 i=1 n−1
i=1

Lycée Ozenne 50 A. Camanes

T.D. V - Estimation D2

Solution de l’exercice 3. 4. En utilisant les questions précédentes, comme Mn est à valeurs

1. On est dans le cadre du calcul de la fonction de répartition d’un dans J1, N K,
maximum : N
X
P ([Mn ⩽ i]) = P ([max {X1 , . . . , Xn } ⩽ i]) E [Mn ] = P ([Mn ⩾ i])
n
! i=1
\ N
=P [Xk ⩽ i] X
k=1
= (1 − P ([Mn ⩽ i − 1]))
n i=1
Y
N 
= P ([Xk ⩽ i]) , en utilisant l’indépendance i−1 n
X   
k=1 = 1−
n
N
Y i=1
= P ([X1 ⩽ i]) , car X1 , . . . , Xn sont de mêmes lois XN 
i−1 n

k=1 =N−
N
= P ([X1 ⩽ i])n i=1
N −1 
i n
i
!n X 
=N− .
X
= P ([X1 = ℓ]) , car X1 prend les valeurs 1, . . . , N N
i=0
ℓ=1
 n
i
= , car X1 ,→ U (J1, N K) 5. D’après la question précédente, pour j ∈ J0, N − 1K,
n
0 j N −1
2. En utilisant la formule précédente, ⩽ ⩽
N  n N 
N
N −1 n
 n 
N −1 j
P ([Mn = N ]) = P ([Mn ⩽ N ]) − P ([Mn ⩽ N − 1]) = 1 − . 0⩽ ⩽
N N N
 n  n
Comme −1 < N −1
< 1, alors lim P ([Mn = N ]) = 1. N −1 j
N n→+∞
− ⩽− ⩽0
N N
3. On va effectuer un changement dans l’ordre des sommations : N −1  N −1 
1 n j n
X  X 
N N X
N − 1− ⩽− ⩽0
X X N N
P (Y ⩾ i) = P (Y = j) j=0 j=0
1 n
 
i=1 i=1 j=i
X N −N 1− ⩽ E [Mn ] ⩽ N.
= P (Y = j) N
1⩽i⩽j⩽N
n
j
N X
Comme lim 1 − N1 = 0, alors d’après le théorème d’encadrement,
X n→+∞
= P (Y = j)
j=1 i=1 lim E [Mn ] = N.
n→+∞
N
X
= jP (Y = j) = E [Y ] . Remarque. Pour obtenir l’encadrement, il n’y avait pas besoin de la
j=1 formule sur l’espérance car

Lycée Ozenne 51 A. Camanes

T.D. V - Estimation D2

∗ d’une part, Mn ⩽ N , donc E [Mn ] ⩽ E [N ] = N , Or, comme les X1 , . . . , Xn sont indépendantes,

N
P
∗ d’autre part, E [Mn ] = n n
! !
kP (Mn = k) ⩾ N P (Mn = N ),
1X 1 X
k=1 V Xn = V Xi = 2 V Xi
ce qui donne l’encadrement annoncé. n n
i=1 =1
n
1 X λ
= 2 V (Xi ) = .
II - Comparaison d’estimateurs n
i=1
n

Finalement,
Solution de l’exercice 4.
 
1. Comme X n et Tn sont des fonctions de X1 , . . . , Xn , alors ce sont des n 2 λ 2 n n−1
E [Tn ] = λ+λ − −λ = λ = λ.
estimateurs. n−1 n n−1 n
En utilisant la linéarité de l’espérance,
Ainsi, Tn est un estimateur sans biais de λ.
n n
  1X 1X 2. Comme X n est un estimateur sans biais, son risque quadratique
E Xn = E [Xi ] = λ = λ.
n n est égal à sa variance. Ainsi, d’après les calculs réalisés à la question
i=1 i=1
précédente,
Ainsi, X n est un estimateur sans biais de λ.


λ
En utilisant les propriétés de la somme, Rλ X n = V X n = .
n
n
1 X 2
Tn = (Xi − X n )2 3. Comme n−12λ
> 0, alors X n (qui est la moyenne empirique) est un
n−1
i=1 estimateur préférable de λ que Tn (qui est l’estimateur sans biais de la
n 
1 X 2
 variance) car son risque quadratique est plus faible.
= Xi2 − 2Xi X n + X n
n−1 Solution de l’exercice 5.
i=1
" n n
#
1 X X 2 1. Commme X n est une fonction de X1 , . . . , Xn , alors X n est un esti-
= Xi2 − 2X n Xi + nX n
n−1 mateur.
i=1 i=1
" n # De plus, d’après la linéarité de l’espérance,
1 X 2
= Xi2 − nX n . n
n−1   1X
i=1 E Xn = E [Xi ] = θ.
n
i=1
Ainsi,
" n # Ainsi, X n est un estimateur sans biais de θ.
1 X   h i
2
E [Tn ] = E Xi2 − nE X n Comme X1 , . . . , Xn sont indépendantes, d’après les propriétés de la va-
n−1
i=1
n h  2 h ii riance,
2
= E X1 − E X n
n−1h n n n
!

1 X 1 X 1 X 1
n  2 i V Xn = 2 V Xi = 2 V (Xi ) = 2 1= .
V (X1 ) + E [X1 ]2 − V X n − E X n


= . n n n n
n−1 i=1 i=1 i=1

Lycée Ozenne 52 A. Camanes

T.D. V - Estimation D2

2. Comme Yn est une fonction de X1 , . . . , Xn , alors Yn est un estimateur. L’égalité V X n = V (Yn ) a lieu si et seulement
 si V X n − Yn = 0,
De plus, d’après la linéarité de l’espérance, i.e. X n − Yn = c presque sûrement. Comme E X n = E [Yn ] = θ, alors
n n
c = 0 et X n = Yn presque sûrement.
X X
E [Yn ] = αi E [Xi ] = θ αi . 4. Ainsi, parmi les estimateurs sans biais qui sont des combinaisons
i=1 i=1 linéaires de X1 , . . . , Xn , l’estimateur de θ qui a le plus faible risque
quadratique est l’estimateur de la moyenne empirique.
Comme θ ̸= 0, alors Yn est un estimateur sans biais si et seulement si
Pn
αi = 1.
i=1
3. En utilisant la bilinéarité de la covariance,
 
n n

1 X X
Cov X n , Yn = Cov  Xi , αj Xj 
n
i=1 j=1
n X
n
1 X
= αj Cov (Xi , Xj ) .
n
i=1 j=1

De plus, en utilisant l’indépendance,

(
0 si j ̸= i
Cov (Xi , Xj ) = .
V (Xi ) si i = j

Alors,
 
n

1 X X
Cov X n , Yn = αi V (Xi ) + 0
n | {z }
i=1 =1 j̸=i
1
= .
n
Ainsi, d’après la positivité de la variance,




0 ⩽ V X n − Yn = V X n + V (Yn ) − 2Cov X n , Yn
1 1

= + V (Yn ) − 2 = V (Yn ) − V X n .
n n


Ainsi, V X n ⩽ V (Yn ) et X n a un risque quadratique inférieur à celui
de Yn .

Lycée Ozenne 53 A. Camanes