CHAPITRE I

Estimation ponctuelle

En statistique, comme dans la théorie des probabilités le hasard intervient fortement. Mais dans la théorie
des probabilités, on suppose la loi connue précisément et on cherche à donner les caractéristiques de la
variable qui suit cette loi. L’objectif de la statistique est le contraire : à partir de la connaissance de la
variable, que peut-on dire de la loi de cette variable ?

1. Définitions

Soit X une variable aléatoire dont la densité de probabilité f (x, θ) dépend d’un paramètre θ appartenant
à I ⊂ R. A l’aide d’un échantillon issu de X, il s’agit de déterminer au mieux la vraie valeur θ0 de θ. On
pourra utiliser deux méthodes :
- estimation ponctuelle : on calcule une valeur vraisemblable θ̂ de θ0

- estimation par intervalle : on cherche un intervalle dans lequel θ0 se trouve avec une probabilité élevée.

Définition 1. Un n-échantillon de X est un n-uplet (X1 , X2 , . . . , Xn ) tel que les Xk ont la même loi
que X et sont indépendantes.
Une réalisation de l’échantillon est alors un n-uplet (x1 , x2 , . . . , xn ) de valeurs prises par l’échantillon.

Définition 2. Une statistique de l’échantillon est une variable aléatoire ϕ(X1 , X2 , . . . , Xn ) où ϕ est
une application de Rn dans R.
Un estimateur T de θ est une statistique à valeurs dans I. Une estimation est la valeur de l’estimateur
correspondant à une réalisation de l’échantillon.

n
1X
Exemple : Xn = Xk est un estimateur de l’espérance mathématique.
n
k=1

Définition 3. Le biais de l’estimateur T de θ est E[T ]−θ0 . S’il est nul, on dit que T est un estimateur
sans biais.
L’estimateur Tn est asymptotiquement sans biais si lim E[Tn ] = θ0 .

On note souvent le biais bθ (T ).

Définition 4. L’estimateur est dit convergent si la suite (Tn ) converge en probabilité vers θ0 :
∀ε > 0, P(|Tn − θ0 | > ε) −→ 0.
n→+∞
On parle d’estimateur fortement convergent lorsqu’on a convergence presque sûre.

D’après Bienaymé-Tchebychev pour qu’un estimateur asymptotiquement sans biais soit convergent il
suffit que
Var(Tn ) −→ 0.
n→+∞
6 Chapitre I. Estimation ponctuelle

2. Critères de comparaison d’estimateurs

Un bon critère de comparaison est le risque quadratique.

Définition 5. Soient T un estimateur de θ. Le risque quadratique est défini par

R(T, θ) = E[(T − θ)2 ]

On peut alors comparer deux estimateurs.

Définition 6. On dit que T1 est un meilleur estimateur que T2 si

∀θ ∈ I, R(T1 , θ) ≤ R(T2 , θ)
et
∃θ ∈ I, R(T1 , θ) < R(T2 , θ).

Un estimateur est dit admissible s’il n’existe pas d’estimateur meilleur.

L’erreur quadratique moyenne de T se décompose en deux termes, le carré du biais et la variance de T :
E[(T − θ)2 ] = b2θ (T ) + Var(T ).
Cette décomposition permet de se ramener à une discussion sur la variance pour les estimateurs sans
biais de θ.

Définition 7. Soient T1 et T2 deux estimateurs sans biais de θ. On dit que T1 est un plus efficace
que T2 si
∀θ ∈ I, Var(T1 ) ≤ Var(T2 )
et
∃θ ∈ I, Var(T1 ) < Var(T2 ).

On parle d’estimateur à variance minimale si seul le premier point est vérifié, c’est-à-dire :
Var(T1 ) ≤ Var(T2 ).

3. Exemples fondamentaux

Soit X une variable aléatoire telle que E[X] = m et Var(X) = σ 2 .

3.a. Estimation de m.

Théorème 8.
n
1X
La moyenne empirique Xn = Xk est un estimateur sans biais et convergent de m.
n
k=1

On a
n n
1X 1 X σ2
E[Xn ] = E[Xk ] = m et Var(Xn ) = 2
Var[Xk ] = −→ 0.
n n n n→+∞
k=1 k=1

D’après la loi forte des grands nombres Xn est même fortemement convergent.
Il est possible de déterminer la loi asymptotique de la moyenne empirique.
 3. Exemples fondamentaux 7

Proposition 9. Si n est assez grand on peut utiliser l’approximation normale (lorsque X admet un
moment d’ordre 2)
L
Xn ∼ N (m, σ 2 /n).

C’est une conséquence du TCL qui nous assure que

√ L
n(Xn − m) → N (0, σ 2 ).
n→+∞

3.b. Estimation de σ 2 en supposant m connu.

Théorème 10.
Lorsque m est connu
n
1X
Sn2 = (Xk − m)2
n
k=1
est un estimateur sans biais et convergent de σ 2 .

On a " #
n n
1X 1X
E[Sn2 ] =E 2
(Xk − m) = Var(Xk ) = σ 2
n n
k=1 k=1
Par ailleurs, les variables (Xk − m)2 étant indépendantes :
n
1 X 1 1
Var(Sn2 ) = Var((Xk − m)2 ) = E[(X − m)4 ] − E[(X − m)2 ]2 = µ4 − σ 4



n 2 n n
k=1
k
avec µk = E((X − m) ).
Donc Sn2 est un estimateur convergent. La loi forte des grands nombres appliquée aux variables (Xk − m)2
entraîne même la convergence presque sûre vers σ 2 .
Comme dans le cas de la moyenne empirique le TCL nous permet de déterminer la loi asymptotique de
Sn2 ; on a lorsque n est assez grand :
L
Sn2 ∼ N (σ 2 , (µ4 − σ 4 )/n).

3.c. Estimation de σ 2 lorsque m est inconnu.

En général on ne connaît pas m ; on le remplace par un estimateur et on introduit la variance empirique
associée :
n
1X
Sn2 = (Xk − Xn )2 .
n
k=1

Théorème 11.

La variance empirique Sn2 est un estimateur biaisé et convergent de σ 2 . Il est asymptotique-

ment sans biais.

On a
n
1X 2 1 σ2 n−1 2
E[Sn2 ] = E(Xk2 ) − E[Xn ] = (n(m2 + σ 2 )) − (m2 + )= σ .
n n n n
k=1
8 Chapitre I. Estimation ponctuelle

D’autre part, on peut montrer que :

1 2 1
µ4 − σ 4 − 2 µ4 − 2σ 4 + 3 µ4 − 3σ 4 → 0




Var(Sn2 ) =
n n n
avec µk = E((X − m)k ). L’estimateur est donc convergent.
Le résultat précédent et le lemme de Slutsky (Probabilité 2, Jean-Yves Ouvrard, p. 347) permet de
déterminer la loi asymptotique de Sn2 :
L
Sn2 ∼ N (σ 2 , (µ4 − σ 4 )/n).

Théorème 12.
La variance empirique corrigée
n
1 X
c2 =
Sn (Xk − Xn )2 .
n−1
k=1
est un estimateur sans biais et convergent de σ 2 .

Cela se montre facilement en remarquant que

c2 = n
Sn S2 .
n−1 n

4. Cas particulier de la loi normale

n
1X
On suppose dans ce paragraphe que X suit la loi normale N (m, σ 2 ). On sait que X n = Xk suit
n
k=1
alors la loi normale N (m, σ 2 /n), ce qui confime que c’est un estimateur sans biais, convergent de m.
Les résultats obtenus au paragraphe précédent pour l’estimation de σ 2 sont encore valables ; en particulier
on a :
2(n − 1) 4
E(Sn2 ) = σ 2 et Var(Sn2 ) = σ
n2
En effet, calculons µk

+∞
(x − m)2
Z  
1
µk = E((X − m)k ) = √ (x − m)k exp − dx
2πσ
−∞ 2σ
Z +∞ √ √ √
1
= √ ( 2σu)k exp (−u2 ) 2σdu en posant x = m 2σu
2πσ −∞
= 0 si k est impair.
Lorsque k = 2p est pair on obtient
2p σ 2p +∞ 2p 2p+1 σ 2p +∞ 2p
Z Z
2
µ2p = √ u exp (−u )du = √ u exp (−u2 )du
π −∞ π 0
2p σ 2p +∞ p−1/2 √
Z
= √ v exp (−v)dv en posant u = v
π 0
2p σ 2p (2p)! 2p
= √ Γ(p + 1/2) = p σ
π 2 (p!)
et donc
1 2 1
2(n − 1) 4
Var(Sn2 ) = µ4 − σ 4 − 2 µ4 − 2σ 4 + 3 µ4 − 3σ 4 =



σ
n n n n2
 4. Cas particulier de la loi normale 9

Définition 13. Soient X1 , . . . , Xn , n variables aléatoires indépendantes identiquement distribuées de

loi N (0, 1). La loi du χ2 à n degrés de liberté est la loi de la variable aléatoire
Xn
χ2n = Xk2 .
k=1
La densité de cette loi est donnée par :
1  u n/2−1  u
fχ2n (u) = exp − 1u>0
2Γ(n/2) 2 2
et sa fonction caractéristique par
1
φχ2n (t) =
(1 − 2it)n/2

fχ2k

Pour déterminer la densité on peut remarquer que : si U suit une loi N (0, 1) alors on a pour t > 0
√ √
P(U 2 ≤ t) = P(−t ≤ U ≤ t) = FU ( t) − FU (− t)
et par conséquent
√ √ √
 
1 1 1 1 t
fU 2 (t) = √ fU ( t) + √ fU (− t) = √ fU ( t) = √ exp −
2 t 2 t t 2πt 2
Ensuite on obtient le résultat général par récurence.

Théorème 14.
Soit (X1 , . . . , Xn ) un n−échantillon de le loi N (0, 1). Les variables aléatoires
n
√ X
n X n et (Xk − X n )2 = nSn2 = (n − 1)S c2
n
k=1

sont indépendantes et suivent respectivement la loi normale réduite et la loi du χ2 à (n − 1)

degrés de liberté.
10 Chapitre I. Estimation ponctuelle

n
X
Démonstration. Montrons que X n et (Xk − X n )2 sont indépendantes. On a
k=1
 1 1 1 
  n n ··· n
Xn    n−1 − n1 ··· − n1
X1

 X1 − X n  n
.. 


 .   1 n−1 ..

 ..  = A  .. 

−n
où A =  n
. . 
.

   . .. ..
Xn  ..

. . 1 
Xn − X n −n
− n1 ··· − n1 n−1
n
 
X1
Le vecteur aléatoire  ...  est gaussien de loi N (0, In ) où In est la matrice identité d’ordre n.
 

Xn
 
Xn  
 X1 − X n  X1
 . 
Par conséquent, le vecteur   = A  ..  est également gaussien de loi N (0, AIn At ) =
 
..
 . 
Xn
Xn − X n
N (0, AAt ). Or
1 
n 0 0 ··· 0
 0 n−1 − 1 · · · − 1 
n n n
.. 

..
AAt = 
 1 n−1
 0 − n n
. . 

. . . .
 .. .. .. .. − 1 

n
0 − n1 · · · − n1 n−1 n
 
X1 − X n n
donc la variable X n est indépendante du vecteur  .. X
(Xk − X n )2 .
 et donc de
 
.
k=1
Xn − X n
√
Comme X n suit la loi N (0, 1/n) on en déduit que nX n suit la loi N (0, 1).
Xn
Montrons nSn2 = (Xk − X n )2 suit la loi du χ2 à (n − 1) degrés de liberté. On a
k=1
 n−1
− n1 − n1

    n ···
X1 − X n X1  1 .. .. 
− n−1 .
..  ..  n n . 
= B où B = 
 
.  .  
   . .. ..
 ..

. . 1 
Xn − X n Xn −n
− n1 ··· −n 1 n−1
n

Comme B est une matrice symétrique, il existe une matrice orthogonale U et une matrice diagonale D
telle que
B = U DU t
Or les valeurs propres de B sont :
- la valeur propre simple 0 dont le sous-espace propre associé a pour équation x1 = · · · = xn ;
- la valeur propre d’ordre (n − 1) égale à 1 dont le sous-espace propre associé a pour équation
x1 + x2 + · · · + xn = 0
En ordonnant convenablement la base de vecteurs propres on peut choisir
 
1 0 ··· 0
.
0 . . . . . . .. 

D = .
 
 .. . . .

1 0
0 ··· 0 0
 5. Construction d’estimateur par la méthode du maximum de vraisemblance 11

On a Y = BX = U DU t X et
n
X
(Xk − X n )2 = Y t Y = X t U DU t U DU t X = (U t X)t D(U t X)
k=1

Or le vecteur aléatoire Z = U t X est gaussien de loi N (0, U t In U ) = N (0, U t U ) = N (0, In ). D’où

n
X n−1
X
(Xk − X n )2 = Z t DZ = Zi2
k=1 k=1
2
qui suit la loi du χ à (n − 1) degrés de liberté. 

On en déduit immédiatement que si (X1 , . . . , Xn ) est un échantillon d’une variable aléatoire N (m, σ 2 ) la
variable aléatoire
n
1 X
(Xk − X n )2
σ2
k=1
suit la loi du χ2 à (n − 1) degrés de liberté.
Il suffit de poser Yk = Xk − m/σ. Alors, comme on a
n n
Xn − m 1 X 2
X
Yn = et (Xk − X n ) = (Yk − Y n )2
σ σ2
k=1 k=1

le résultat découle de ce qui précède.

5. Construction d’estimateur par la méthode du maximum de vraisemblance

5.a. Cas discret. On suppose donnée une observation X tirée selon une loi Pθ , θ ∈ Θ. On supposera
ici que Pθ est discrète et on pose :
fθ (x) = Pθ (X = x).
On appelle alors fonction de vraisemblance la fonction LX (θ) = fθ (X). Quand on dispose d’un
n−échantillon (X1 , . . . , Xn ) de loi Pθ , la vraisemblance s’écrit alors
n
Y
LX1 ,...,Xn (θ) = fθ (Xi ).
i=1

Lorsque la fonction de vraisemblance admet un unique maximum atteint en θ̂ = gn (X1 , . . . , Xn ), on peut

utiliser cette valeur pour estimer θ. On dit alors que
T = gn (X1 , . . . , Xn )
est l’estimateur par maximum de vraisemblance de θ.
Cet estimateur est naturel puisqu’il conduit à privilégier la valeur de θ la "plus probable" au vu de
l’observation. Il possède en général de bonnes propriétés. L’inconvénient est que ce maximum peut ne pas
exister ou ne pas être unique et il peut être difficile à exhiber.
En pratique, la recherche de ce maximum se fait par dérivation de L relativement à θ. On peut de ma-
nière équivalente maximiser le logarithme de la vraisemblance (la fonction logarithme étant croissante,
maximiser la vraisemblance et la log-vraisemblance revient au même, mais souvent les calculs sont plus
simples).

Exemple : Estimation du paramètre d’une loi de Bernoulli.

Ici on suppose Θ =]0, 1[ et les Xi suivent une loi de Bernoulli de paramètre θ ∈ Θ. On a

 θ si x = 1
fθ (x) = Pθ (X = x) = 1−θ si x = 0
0 sinon

12 Chapitre I. Estimation ponctuelle

Posons Sn = X1 + · · · + Xn . Ainsi Sn est le nombre de 1 dans l’échantillon et n − Sn le nombre de 0. La

vraisemblance et la log-vraisemblance s’écrivent alors :
LX1 ,...,Xn (θ) = θSn (1 − θ)n−Sn lnLX1 ,...,Xn (θ) = Sn lnθ + (n − Sn )ln(1 − θ).
Un calcul montre alors que le maximum est atteint en
θ̂ = n−1 Sn .
Par conséquent l’estimateur de θ par maximum de vraisemblance est
n
1X
T = Xi .
n i=1
qui est également l’estimateur de la moyenne.

5.b. Cas à densité. On suppose donnée une observation X tirée selon une loi Pθ , θ ∈ Θ. On
supposera ici que Pθ admet une densité par rapport à la mesure de Lebesgue notée fθ .
On appelle alors fonction de vraisemblance la fonction LX (θ) = fθ (X). Quand on dispose d’un
n−échantillon (X1 , . . . , Xn ) on a la vraisemblance
n
Y
LX1 ,...,Xn (θ) = fθ (Xi ).
i=1
Ensuite, on procède comme dans le cas discret.

Exemple : On cherche à estimer le paramètre θ inconnu d’une loi exponentielle. La vraisemblance

s’écrit :
n
X Pn
LX1 ,...,Xn (θ) = exp (− Xi /θ)θ− i=1 Xi
i=1
Le maximum est atteint en un unique point θ̂n = X n .