Chapitre 13

Estimation
TAOUFIKI.S
9 décembre 2020

Table des matières

1 Estimation ponctuelle 2
1.1 Problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Estimateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Biais d’un estimateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Suite d’estimateurs convergente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.5 Suite asymptotiquement sans biais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.6 Comparaison d’estimateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2 Estimation sur un intervalle 6

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Intervalle de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 Intervalle de confiance asymptotique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

• • • • • • • • ••

1
taoufiki.S 2

Dans tout ce chapitre, les variables considérées sont des variables aléatoires sur l’espace probabilisé (Ω, T , P).

1 Estimation ponctuelle
1.1 Problématique
Etant donnée une suite de var (Xn ) iid dont le type de la loi est connu mais il nous manque des informations sur le
ou les paramètre (s). Par exemple, si Xn est la durée de fonctionnement d’une machine, sa loi sera exponentielle mais
aucune information sur le paramètre. Ou bien si Xn est le nombre des voitures prenant la route vers Fès, il s’agit d’une
loi poissonienne mais on n’a pas la valeur de son espérance.
On donne dans ce chapitre quelques outils pour évaluer (estimer) le ou les paramètres inconnus que l’on va noter θ. Et
on note par Θ l’espace des valeurs possibles pour le paramètre θ. Par exemple :
• Si Xn ,→ E(λ) avec θ = λ alors Θ = R∗+ .
• Si Xn ,→ B(m, p) avec θ = (m, p) alors Θ = N∗ ×]0, 1[.
• Si Xn ,→ N (µ, σ2 ) avec θ = (µ, σ) alors Θ = R × R∗+ .

1.2 Estimateurs

Définition
• Un n−échantillon est une famille (X1 , ..., Xn ) de var iid. La loi commune est dite loi-mère et notée Lθ et sa
fonction de répartition est Fθ .
• Soit g : Θ −→ R une application.
Un estimateur de g(θ) est une v.a.r. φ(X1 , ..., Xn ) avec (X1 , ..., Xn ) est un échantillon et φ : Rn −→ R est une
application.
• Si (x1 , ..., xn ) est une réalisation du vecteur aléatoire (X1 , ..., Xn ), alors φ(x1 , ..., xn ) est la valeur que l’on
attribue au paramètre g(θ).

Exemples :
X
n
Xk
k=1
• La moyenne empirique Xn = n est un estimateur de g(θ).
X1 +Xn
• min(X1 , ..., Xn ) , max(X1 , ..., Xn ) et 2 sont des estimateurs aussi de g(θ).

Remarque :
On cherche à estimer g(θ) lorsqu’il est plus facile à avoir que θ. Par exemple :
• Si Lθ = E(θ) on cherche son espérance g(θ) = θ1 .
• Si Lθ = U([a, b]) c.à.d. θ = (a, b), on cherche la longueur du segment g(θ) = b − a.
• Si Lθ = B(θ) ou Lθ = P(θ), on cherche son espérance g(θ) = θ.
taoufiki.S 3

1.3 Biais d’un estimateur

Définition
Si l’estimateur Tn de g(θ) admet une espérance, on appelle le biais de Tn le nombre

bθ (Tn ) = E(Tn ) − g(θ)

Lorsque bθ (Tn ) = 0, on dit que Tn est un estimateur sans biais. Sinon on dit qu’il est biaisé.

Exemples :
• Supposons que Lθ = U([0, θ]) et considérons
 l’estimateur Tn = max(X1 , ..., Xn ) de θ.
Yn  0 , x≤0
xn
Pour x ∈ R , FTn (x) = FXk (x) = , 0 < x<1
 θn
k=1 1 , x≥1
Par suite Z +∞ Zθ
xn nθ
E(Tn ) = xfTn (x)dx = n n dx =
−∞ 0 θ n +1
−θ
D’où bθ (Tn ) = E(Tn ) − θ = n+1 .
n+1
Posons Sn = n Tn . On a bien Sn un estimateur sans biais de θ car bθ (Sn ) = E(Sn ) − θ = 0.
X
n
(Xk − Xn )2
• Considérons les deux estimateurs Xn = X1 +...+Xn
n
et Sn = k=1
n de m = m(θ) et σ2 = σ(θ)2
respectivement.
Par linéarité, Xn est un estimateur sans biais de m. Et

X
n
[(Xk − m) + (m − Xn )]2
k=1
Sn =
n
X
n X
n X
n
(Xk − m)2 (Xk − m) (m − Xn )2
k=1
= + 2(m − Xn ) k=1 + k=1
n n n
X
n X
n
(Xk − m)2 Xk
k=1 k=1
= + 2(m − Xn )( − m) + (m − Xn )2
n n
X
n
(Xk − m)2
k=1
= − (m − Xn )2
n

X
n X
n
E((Xk − m)2 ) σ2
X
n
n−1 2
k=1 k=1 1
donc E(Sn ) = n − V(Xn ) = n − n2
V(Xk ) = σ
n
k=1
n−1 2 2 −σ2
On en déduit que bσ2 (Sn ) = n σ − σ = n . L’estimateur Sn est donc biaisé.
nSn 2
Par contre, l’estimateur Rn = n−1 est un estimateur sans biais de σ .
taoufiki.S 4

1.4 Suite d’estimateurs convergente

Définition
Soit (Tn ) une suite d’estimateur de g(θ).
on dit qu’elle est convergente si Tn −→ g(θ) en probabilité.

Exemples :
• Supposons que Lθ = U([0, θ]) et considérons
 l’estimateur Tn = max(X1 , ..., Xn ) de θ.
Yn  0n , x≤0
x
Pour x ∈ R , FTn (x) = FXk (x) = , 0<x<1
 θn
k=1 1 , x≥1
Soit ε > 0. Si 0 < ε < θ, alors

(θ − ε)n
P(|Tn − θ| ≥ ε) = P(Tn ≥ θ + ε) + P(Tn ≤ θ − ε) = 0 + −→ 0
θn
Si θ ≥ ε, alors
θ
0 ≤ P(|Tn − θ| ≥ ε) ≤ P(|Tn − θ| ≥ ) −→ 0
2
D’où la convergence de la suite (Tn ).
X1 +...+Xn
• Considérons la moyenne emiprique Xn = n d’un échantillon (X1 , ..., Xn ) avec m = E(X1 ) et
σ2 = Var (X1 ). On a
Var (Xn ) σ2
0 ≤ P(|Xn − m| ≥ ε) ≤ = −→ 0
ε2 nε2
D’où la suite des moyennes empiriques est convergente vers m.

Proposition
Soient (Tn ) une suite d’estimateurs convergente de g(θ) et f : R −→ R une application continue.
Alors la suite (f(Tn ))n d’estimateurs de f(g(θ)) est convergente.

Preuve :
On a vu que, si Xn −→ X en probabilité et f continue alors f(Xn ) −→ f(X) en probabilité.

1.5 Suite asymptotiquement sans biais

Définition
Une suite d’estimateurs (Tn )n de g(θ) est dite asymptotiquement sans biais si

lim E(Tn ) = g(θ)

n→+∞

Exemples :
• Supposons que Lθ = U([0, θ]) et considérons l’estimateur Tn = max(X1 , ..., Xn ) de θ.
nθ
On déjà trouvé que E(Tn ) = n+1 −→ θ, donc la suite (Tn ) est asymptotiquement sans biais.
X
n
(Xk − Xn )2
• Considérons l’estimateur Sn = k=1 n de σ2 = σ(θ)2 .
n−1 2 2
On a déjà vu que E(Sn ) = n σ −→ σ , donc la suite (Sn ) est asymptotiquement sans biais.
taoufiki.S 5

Remarque :
Une suite sans biais est asymptotiquement sans biais.

1.6 Comparaison d’estimateurs

Définition
Soit Tn un estimateur de g(θ) admettant un moment d’ordre 2.
Le réel rθ (Tn ) = E((Tn − g(θ))2 est dit le risque quadratique de Tn .

Exemple :
Soient (Xi )i ,→ P(θ) et Xn la moyenne empirique de X1 , ..., Xn .
θ
On a E(Xn ) = θ donc rθ (Tn ) = E((Xn − θ)2 = Var (Xn ) = n par indépendance.

Proposition
Décomposition biais-variance du risque quadratique
Soit Tn un estimateur de g(θ) admettant un moment d’ordre 2. On a

rθ (Tn ) = (bθ (Tn ))2 + Var (Tn )

Preuve :
Par formule de Huygens, on a

Var (Tn ) = Var (Tn − g(θ)) = E((Tn − g(θ))2 ) − (E(Tn − g(θ)))2 = rθ (Tn ) − (bθ (Tn ))2

Remarques :
• Si rθ (Tn ) est faible alors V(Tn ) et bθ (Tn ) le seront aussi. De même si Tn est biaisé, alors il va donner des
valeurs éloignées de g(θ).
• Le meilleur parmi deux estimateurs est celui qui a le plus petit risque.

Proposition
Condition suffisante de convergence
Soit (Tn ) une suite d’estimateurs de g(θ) admettant un moment d’ordre 2.
Si lim rθ (Tn ) = 0 alors la suite (Tn )n est convergente.
n→+∞

Preuve :
Par inégalité de Markov, on a

rθ (Tn )
∀ε > 0 , P(|Tn − g(θ)| ≥ ε) ≤ −→ 0 lorsque n −→ +∞
ε2
taoufiki.S 6

Exemple :
X
n
Sn +1
Soient (Xn )n∈N une suite de var iid suivant B(θ), Sn = Xi et Tn = n+2 .
i=1
On a Sn ,→ B(n, θ), donc E(Sn ) = nθ et Var (Sn ) = nθ(1 − θ).
On a rθ (Tn ) = (bθ (Tn ))2 + V(Tn ).
n )+1
Comme bθ (Tn ) = E(Tn ) − θ = E(Sn+2 = nθ+1 1−2θ
n+2 − θ = n+2
Var (Sn ) 1−2θ
et V(T ) =
n (n+2)2
= n+2
2
donc rθ (Tn ) = ( n+2 ) + 1−2θ
1−2θ 2
n+2 = (1−2θ) +nθ(1−θ)
(n+2)2
−→ 0.
D’où la convergence de la suite (Tn ).

2 Estimation sur un intervalle

2.1 Introduction
Aucun critère parmi ceux vus dans la première partie (biais, risque, convergence) ne permet de garantir que la valeur
prise par l’estimateur sera proche de la valeur réelle de g(θ). Lobjectif de ce paragraphe est de trouver un intervalle
aléatoire [Un , Tn ] (dit intervalle de confiance) qui contient g(θ) avec une probabilité minimale 1α donnée, avec Un et
Vn deux estimateurs de g(θ) tels que : P(Un < Vn ) = 1 et α ∈]0, 1[.

2.2 Intervalle de confiance

Définition
Soient Un et Vn deux estimateurs de g(θ) (relativement au même échantillon) tels que : P(Un < Vn ) = 1 et
α ∈]0, 1[. On dit que [Un , Vn ] est un intervalle de confiance de g(θ), au niveau de confiance 1 − α ( ou niveau de
risque α ) si
P(Un ≤ g(θ) ≤ Vn ) ≥ 1 − α

Exemple :
X
n
1
Soient (Xn )n∈N une suite de var iid suivant B(θ) et Xn = n Xi . On rappelle que E(Xn ) = θ et Var (Xn ) =
i=1
θ(1−θ)
n . Par l’inégalité de B-T, on a

θ(1 − θ) 1
∀ε > 0 , P(|Xn − θ| > ε) ≤ 2
≤
nε 4nε2
donc
1
∀ε > 0 , P(|Xn − θ| ≤ ε) ≥ 1 −
4nε2
Pour n = 500 et ε = 0, 1, on pose Un = Xn − ε et Vn = Xn + ε, on a bien
1
P(Un ≤ θ ≤ Vn ) = P(|Xn − θ| ≤ ε) ≥ 1 − = 1 − 0, 05
4nε2
On obtient donc un intervalle de confiance de θ au niveau de confiance 0, 95.
taoufiki.S 7

2.3 Intervalle de confiance asymptotique

Définition
Soient Un et Vn deux estimateurs de g(θ) (relativement au même échantillon) tels que : P(Un < Vn ) = 1 et
α ∈]0, 1[. On dit que la suite (des intervalle) ([Un , Vn ])n est un intervalle de confiance asymptotique de g(θ), au
niveau de confiance 1 − α ( ou niveau de risque α ) si il existe une suite (αn )n convergente vers α telle que

∀n , P(Un ≤ g(θ) ≤ Vn ) ≥ 1 − αn

Remarque :
Par abus de language, on dit que [Un , Vn ] est un intervalle de confiance asymptotique.

Proposition
Soient (Xn )n∈N une suite de var iid ,→ B(p). On note Xn = X1 +...+X n
n
.
α
Soit α ∈]0, 1[ et tα l’unique réel positif vérifiant φ(tα ) = 1 − 2 .
Un intervalle asymptotique de p au niveau 1 − α est donné par
 
tα tα
Xn − √ , Xn + √
2 n 2 n

Preuve :
X
n
Par stabilité, Xi ,→ B(n, p) donc, par Théorème centrale limite
i=1

X
n
Xi − np
i=1
p −→ N (0, 1) en probabilité
np(1 − p)

X
n
 
 Xi − np

i=1
 
c.à.d. lim P −tα ≤ p
 ≤ tα 
 = φ(tα ) − φ(−tα ) = 2φ(tα ) − 1 = 1 − α
n→+∞ np(1 − p)
 

 
−tα p tα p
c.à.d. lim P √ p(1 − p) + Xn ≤ p ≤ √ p(1 − p) + Xn =1−α
n→+∞ n n
 
On pose αn = 1 − P −t
p tα
p
√α
n
p(1 − p) + X n ≤ p ≤ √
n
p(1 − p) + Xn . On a bien
 
tα tα
lim αn = α et P Xn − √ ≤ p ≤ Xn + √ ≥ 1 − αn
n→+∞ 2 n 2 n

car p(1 − p) ≤ 21 .

Exemple :
h i
α 0,96 0,96
On prend α = 0, 05. On a φ(1, 96) ' 0, 975 = 1 − 2, donc Xn − √ , Xn
n
+ √
n
est un intervalle asymptotique
de p au niveau 1 − α = 0, 95.
Pour n = 2500, on a 0,96
√
n
' 0, 02.
0,96
Pour n = 1000, on a √
n
' 0, 03. On gagne avec TCL une précsion meilleur que celle obtenue à l’aide de l’inégalité
de B-T.
taoufiki.S 8

Théorème
Soient (Xn ) une suite de var iid possédant un moment d’ordre 4, α ∈]0, 1[ et tα l’unique réel positif vérifiant
φ(tα ) = 1 − α
2.
Xn Xn
On pose Xn = n 1
Xk et Sn = n 1
(Xk − Xn )2 .
k=1 k=1
 √ √ 
tα Sn tα Sn
Xn − √n , Xn + √n est un intervalle de confiance asymptotique de = E(X1 ) au niveau de confiance 1−α.

Preuve :
X
n
2
On a Sn = 1
n X2k − Xn .
k=1
Les X2k possèdent un moment d’ordre 2 donc par la loi faible des grands nombres, on a

1 X 2
n
Xk −→ E(X21 ) = Var (X1 ) + E(X1 )2 = σ2 + m2 en probabilité
n
k=1

2
comme Xn −→ m en probabilité alors Xn −→ m2 en probabilité, par composition
puis Sn −→ σ2 + m2 − m2 en probabilité ( Limite et opérations aux TD mais H.P.)
Par composition et multiplication, √σ −→ 1 en probabilité.
Sn
√ Xn −m
Par TCL, n σ −→ N (0, 1) en loi. En admettant que la convergence en probabilité entraı̂ne la convergence
en loi et en utilisant théorème de Slutsky, on obtient

√ Xn − m √ Xn − m σ
n p = n .p −→ N (0, 1)
Sn σ Sn
et on introduit α comme précédement pour obtenir le résultat cherché.