Chapitre II : Estimation

N. RIANE

Faculté des sciences économiques, juridiques et sociales de Rabat-Agdal

8 avril 2025

L'estimation ponctuelle est, à

bien des égards, similaire à tirer
un revolver sur une cible.

 Wackerly, Mendenhall et
Schaeer,
.
Mathematical
Statistics

Introduction
L'objectif de la statistique inférentielle est d'exploiter des données observées pour tirer des conclu-
sions sur des caractéristiques inconnues d'une population. Dans ce cadre, l'estimation consiste à pro-
poser, à partir d'un échantillon aléatoire, une ou plusieurs valeurs approchant le ou les paramètres du
modèle statistique sous-jacent.

Ce chapitre présente les fondements de la théorie de l'estimation, en distinguant les estimateurs

ponctuels et les estimateurs par intervalles de conance. On y étudie les notions centrales de biais,
de variance, de convergence et d'ecacité, avant d'introduire les méthodes classiques de construction
d'estimateurs, telles que la méthode des moments et celle du maximum de vraisemblance.

1 Modèle statistique
Estimer les caractéristiques d'une population à partir d'un échantillon suppose un cadre rigoureux :
c'est le rôle du modèle statistique, qui formalise les lois de probabilité sous-jacentes aux données.

Dénition 1.1. Modèle statistique

Un modèle statistique est la donnée d'un objet aléatoire X à valeurs dans un espace E et d'une
famille de lois (Pθ )θ∈Θ sur cet espace, supposée contenir la loi PX , et appelée modèle statistique pour
la loi de X .

Dénition 1.2. Modèle paramétrique

Si l'espace Θ du modèle statistique (Pθ )θ∈Θ est contenu dans Rk pour un certain k ⩾ 1, on parle de
modèle paramétrique. Sinon, il est non paramétrique.

Dénition 1.3. Statistique et estimateur

Une statistique est une fonction de l'objet aléatoire X .
Un estimateur de θ est une statistique θ̂ = θ̂(X) destinée à approcher θ.

1
 Une statistique (et donc un estimateur) est une v.a., on lui associe une espérance E(θ̂) et une
variance V(θ̂).

Exemple 1.1. Élections présidentielles américaines de 2024

Un sondeur veut déterminer le nombre de personnes qui vont voter "Trump" aux élections prési-
dentielles américaines de 2024. Pour cela il eectue un sondage sur un échantillon de n individus.
Déterminer un modèle statistique et un estimateur approprié pour ce problème.

2 Estimation ponctuelle
Une fois le modèle statistique établi, une question centrale consiste à estimer le paramètre inconnu
à partir des données observées. Lorsqu'on propose une valeur unique pour ce paramètre, on parle
d'estimation ponctuelle. On s'intéresse alors à la manière de construire de tels estimateurs, ainsi qu'aux
critères permettant d'évaluer leur qualité.

2.1 Cas des petits échantillons

2.1.1 Biais

Dénition 2.1. Estimateur sans biais

On dit que l'estimateur θ̂ est sans biais, si
E(θ̂) = θ

sinon il est dit biaisé, dans ce cas, le biais est donné par la formule
B(θ̂) = E(θ̂) − θ

Dénition 2.2. Erreur quadratique moyenne

L'erreur quadratique moyenne ou le risque quadratique d'un estimateur θ̂ est donnée par
h i
R(θ̂) = E (θ̂ − θ)2

Proposition 2.1.
L'erreur quadratique moyenne d'un estimateur θ̂ peut se décomposer biais-variance comme suit :

   2
R(θ̂) = V θ̂ + B(θ̂)

Démonstration.

Par dénition, l'erreur quadratique moyenne (EQM) est donnée par

h i
R(θ̂) = E (θ̂ − θ)2 ,

où θ représente la vraie valeur du paramètre. On peut ajouter et retrancher E[θ̂] dans l'expression
précédente :  2 
R(θ̂) = E θ̂ − E[θ̂] + E[θ̂] − θ .

En développant le carré, on obtient :

 2  h  i  2
R(θ̂) = E θ̂ − E[θ̂] + 2E θ̂ − E[θ̂] (E[θ̂] − θ) + E[θ̂] − θ .

2
Notons que le terme central s'annule car :
h i
E θ̂ − E[θ̂] = E[θ̂] − E[θ̂] = 0.

Ainsi, nous obtenons :  2   2

R(θ̂) = E θ̂ − E[θ̂] + E[θ̂] − θ .

Par dénition, la variance de l'estimateur est

   2 
V θ̂ = E θ̂ − E[θ̂] ,

et le biais est déni par

B(θ̂) = E[θ̂] − θ.
Nous obtenons alors la décomposition désirée :
   2
R(θ̂) = V θ̂ + B(θ̂) .

Exemple 2.1. Élections présidentielles américaines de 2024 - suite

Reprenons l'exemple des élections présidentielles américaines de 2024.
1. Calculer le biais de l'estimateur de la proportion des gens votant Trump.
2. Calculer la variance de l'estimateur de la proportion des gens votant Trump.
3. Déduire l'erreur quadratique moyenne de cette estimateur.

2.1.2 Ecacité relative

Dénition 2.3. Ecacité relative Soient θ̂1 et θ̂2 deux estimateurs sans biais de θ. L'estimateur θ̂1
est dit plus ecace que θ̂2 s'il est meilleur au sens de la variance :
   
V θ̂1 ⩽ V θ̂2

Exemple 2.2. Élections présidentielles américaines de 2024 - suite

Le sondeur souhaite interroger deux personnes de manières indépendantes, il désigne par Y1 , Y2 la
v.a. donnant leurs réponses. Soient les deux estimateurs de la proportion p des votes pour Trump :
Y1 + Y2
p̂1 = Y1 , p̂2 =
2
1. Montrer que ces deux estimateurs sont non biaisés.
2. Quel est l'estimateur le plus ecace ?

3
2.2 Cas des grands échantillons

2.2.1 Estimateur convergent

Dénition 2.4. Estimateur convergent

Un estimateur de θ̂ est dit convergent s'il converge en probabilité vers la vraie valeur, c'est-à-dire,
∀ε > 0 :  
lim P |θ̂ − θ| > ε = 0
n→+∞

Théorème 2.2. Un estimateur θ̂ est convergent s'il est sans biais et si

 
lim V θ̂ = 0
n→+∞

Démonstration.

Soit ε > 0. Par l'inégalité de Bienaymé-Tchebychev, nous avons

  Var(θ̂ )
n
Pr |θ̂n − θ| ≥ ε ≤ 2
.
ε
Comme
lim Var(θ̂n ) = 0,
n→∞
il s'ensuit que
  Var(θ̂n )
lim Pr |θ̂n − θ| ≥ ε ≤ lim = 0.
n→∞ n→∞ ε2
Ainsi, pour tout ε > 0, nous avons
 
lim Pr |θ̂n − θ| ≥ ε = 0.
n→∞

Cela signie que θ̂n converge en probabilité vers θ.

Exercice 2.1. Élections présidentielles américaines de 2024 - suite

Démontrer la convergence de l'estimateur de la proportion empirique.

2.3 Méthodes d'estimation

2.3.1 La méthode des moments

Dénition 2.5. La méthode des moments

La méthode des moments consiste à choisir comme estimations les valeurs des paramètres qui sont
des solutions des équations :
µk = X k
Pn k
i=1 Xi
où µk est le moment théorique d'ordre k de X et Xk = est le moment empirique d'ordre k
n
de X .

Exercice 2.2. Élections présidentielles américaines de 2024 - suite

Le sondeur a interrogé n personnes de manière indépendante, soient Y1 , . . . , Yn les v.a. donnant les
réponses.
Donner un estimateur de p en utilisant la méthode des moments.

4
2.3.2 La méthode du maximum de vraisemblance

Dénition 2.6. La fonction de vraisemblance

On appelle fonction de vraisemblance l'application :
L : Θ × Rn → R
n
Y
L(θ, x1 , . . . , xn ) = Pθ (Xi = xi )
i=1

Dénition 2.7. La méthode du maximum de vraisemblance

Un estimateur du maximum de vraisemblance (EMV) de θ est une valeur qui maximise la fonction de
vraisemblance.

Il est plus pratique de maximiser le log de vraisemblance ln(L).

Exercice 2.3. Élections présidentielles américaines de 2024 - suite

Le sondeur a interrogé n personnes de manière indépendante, soient Y1 , . . . , Yn les v.a. donnant les
réponses.
Donner un estimateur de p en utilisant la méthode du maximum de vraisemblance.

3 Estimation par intervalle de conance

L'estimation par intervalle de conance permet de quantier le risque d'erreur inhérent à toute esti-
mation statistique. Plutôt que de fournir une valeur isolée, elle propose une plage de valeurs plausibles
pour le paramètre inconnu, avec une probabilité donnée de contenir la véritable valeur.

Dénition 3.1. Estimateur par intervalle de conance

Soit α ∈]0, 1[. Un intervalle de conance pour θ de niveau 1 − α est une statistique I = [θ̂m , θ̂M ] à
valeurs dans les intervalles de R telle que :
P(θ ∈ I) = P(θ̂m ⩽ θ ⩽ θ̂M ) ⩾ 1 − α

Supposons que θ̂m et θ̂M soient respectivement les bornes inférieure et supérieure (aléatoires) d'un
intervalle de conance pour un paramètre θ. Si
P(θ̂m ⩽ θ ⩽ θ̂M ) = 1 − α,
alors la probabilité 1 − α est appelée niveau de conance et la probabilité α est appelée risque
d'erreur. L'intervalle aléatoire déni par [θ̂m , θ̂M ] est appelé intervalle de conance bilatéral.
Il est également possible de construire un intervalle de conance unilatéral à gauche, tel que
P(θ̂m ⩽ θ) = 1 − α.

Dans ce cas, seule la borne inférieure θ̂m est une variable aléatoire, et l'intervalle associé est [θ̂L , +∞[.

De même, un intervalle de conance unilatéral à droite peut être déni par

P(θ ⩽ θ̂M ) = 1 − α,

ce qui correspond à l'intervalle ] − ∞, θ̂M ].

Il convient de distinguer deux types d'intervalles de conance :

5
 1. Les intervalles de conance exacts, utilisés lorsque la taille de l'échantillon est faible. Ils
sont construits sans approximation, en s'appuyant sur la loi exacte de l'estimateur.
2. Les intervalles de conance asymptotiques, appropriés pour les grands échantillons (n → +∞).
Ils reposent sur des approximations limites, typiquement issues du théorème central limite.

Exercice 3.1. Groupe d'étudiants

On a demandé la note de n = 100 étudiants en mathématiques et on a calculé x̄ = 11 sur 20 points.
Sachant que l'écart-type des notes est de 2 points, donner un intervalle de conance asymptotique pour
l'estimation de la note moyenne de tous les étudiants pour un niveau de conance 0.95.