Methodes Estimations
Methodes Estimations
Mohamed-Salem Ahmed
2024-2025
Partie 1 : L’Estimation
1. Généralité
2. Construction d’un estimateur : EMM et EMV
3. Qualités d’un estimateur
4. Exhaustivité
5. Estimation par intervalle de confiance
1. Généralité
2. Tests portant sur un paramètre
3. Tests de comparaisons
1/30
Introduction
Introduction
L’équipe électorale d’un candidat A qualifié au second tour d’une élection présidentielle,
souhaite prédire la proportion πA de vote qu’elle aura leur candidat.
Théorie de l’échantillonnage : L’équipe s’est adressée à un institut de sondage qui a procédé à
la sélection d’un échantillon de taille n = 1000 représentatif du corps électoral.
2/30
Introduction
Statistique descriptive :
520 individus ont affirmé leur intention à voter le candidat A tandis que 480 individus ont
affirmé leur intention à voter le deuxième candidat.
520
La proportion de vote du candidat A dans l’échantillonne sélectionné est : b
πn = 1000
= 52%
3/30
Introduction
1. Peut-on s’attendre que le candidat A aura 52% de votes au second tour ?⇒Estimation
ponctuelle de πA .
2. Peut on associer une marge d’erreur à cette estimation ? ⇒ intervalle de confiance.
3. Peut on dire que le candidat a su convaincre les électeurs (πA > 0.5) ? ⇒ Test statistique.
4/30
Partie 1 : L’Estimation
1. Généralité
4. Exhaustivité
5/30
Généralité
Soit X une variable aléatoire dont la loi de probabilité dépend d’un paramètre θ
appartenant à Θ ⊂ R.
On note par θ0 la vraie valeur du paramètre θ qu’on souhaite estimer à partir d’un
échantillon issu de X .
6/30
Généralité
Définition : Statistique
Soit X1 , . . . , Xn un échantillon de X . On appelle une statistique relative à l’échantillon
toute fonction mesurable S(X1 , . . . , Xn ).
Définition : Estimateur
On appelle un estimateur de θ toute variable aléatoire Tn à valeurs dans Θ et qui
dépend uniquement de l’échantillon X1 , . . . , Xn .
On appelle alors une estimation de θ la valeur de l’estimateur Tn correspondant à une
réalisation de l’échantillon.
La définition d’un estimateur laisse attendre qu’il peut exister une infinité des
estimateurs. 7/30
Généralité
X =
0 sinon
C’est la méthode la plus naturelle, on vient de l’utiliser sans la formaliser lorsque nous
avons estimé θ par X̄ .
L’idée de base est d’estimer tout moment théorique par sa version empirique grâce à la
loi de grand nombre qui assure la convergence
Soit µk le moment d’ordre k (k ≥ 1) de X (s’il existe) et Mns le moments empirique
d’ordre k :
n
1X k
µk = E(X k ) et Mnk = Xi
n
i=1
Par la loi des grands nombres, nous avons :
Mnk → µk au moins en probabilité lorsque n → ∞.
On définit l’estimateur de méthode des moments (EMM) de θ par la solution de ce
système d’équations des moments :
=
µ1 Mn1
µ2 = Mn2
.. .. ..
. . .
= Mn2
µs
9/30
L’ordre s est choisi de tel sorte qu’on trouve une solution unique de ce système.
Estimation par de méthode des moments
10/30
Estimation par de méthode des moments
10/30
Estimation par de méthode des moments
10/30
Estimation par de méthode des moments
10/30
Estimation par de méthode des moments
Exercice (DM) Calculez E(X̄n ), Var(X̄n ), E(Sn2 ) et Var(Sn2 ) en supposant que E(X 4 ) existe.
10/30
Estimation par de méthode des moments
Exercice (DM) Calculez E(X̄n ), Var(X̄n ), E(Sn2 ) et Var(Sn2 ) en supposant que E(X 4 ) existe.
Exercice Soit X1 , . . . , Xn un échantillon aléatoire d’une variable X ∼ U [a, b]. Trouvez les EMM
de a et b.
10/30
Méthode du maximum de vraisemblance
Estimateur du maximum de vraisemblance
11/30
Estimateur du maximum de vraisemblance
11/30
Estimateur du maximum de vraisemblance
11/30
Estimateur du maximum de vraisemblance
11/30
Estimateur du maximum de vraisemblance
12/30
Méthode du maximum de vraisemblance
∂
lnL(x1 , . . . , xn ; πA ) = 0 ⇒ πA = x̄n
∂πA
12/30
Méthode du maximum de vraisemblance
∂
lnL(x1 , . . . , xn ; πA ) = 0 ⇒ πA = x̄n
∂πA
∂2
On peut montrer facilement que ∂π 2
lnL(x1 , . . . , xn ; πA ) est négative. Ainsi πA∗ = x̄n est
A
un maximum global de lnL(x1 , . . . , xn ; πA ) pour x̄n ∈]0, 1[.
Pour x̄n ∈ {0, 1}, lnL(x1 , . . . , xn ; πA ) est
lnL(x1 , . . . , xn ; x̄n ) = sup lnL(x1 , . . . , xn ; πA ).
πA ∈]0,1[
12/30
Méthode du maximum de vraisemblance
∂
lnL(x1 , . . . , xn ; πA ) = 0 ⇒ πA = x̄n
∂πA
∂2
On peut montrer facilement que ∂π 2
lnL(x1 , . . . , xn ; πA ) est négative. Ainsi πA∗ = x̄n est
A
un maximum global de lnL(x1 , . . . , xn ; πA ) pour x̄n ∈]0, 1[.
Pour x̄n ∈ {0, 1}, lnL(x1 , . . . , xn ; πA ) est
lnL(x1 , . . . , xn ; x̄n ) = sup lnL(x1 , . . . , xn ; πA ).
πA ∈]0,1[
13/30
Méthode du maximum de vraisemblance
Preuve
Ce résultat est direct grâce la bijectivité de la fonction g(·) qui assure que lorsque
L(x1 , . . . , xn ; θ) est maximum au point θ̂ alors L(x1 , . . . , xn ; g(θ)) sera maximum au
point g(θ̂).
13/30
Méthode du maximum de vraisemblance
Preuve
Ce résultat est direct grâce la bijectivité de la fonction g(·) qui assure que lorsque
L(x1 , . . . , xn ; θ) est maximum au point θ̂ alors L(x1 , . . . , xn ; g(θ)) sera maximum au
point g(θ̂).
Cette proposition reste valable dans le cas où la fonction g(·) n’est pas bijective
mais sa démonstration est plus délicate.
13/30
Qualités d’un estimateur
Biais d’estimation
Biais : On souhaite que l’estimation ne soit pas systématiquement décalée par rapport
à la valeur vraie.
14/30
Biais d’estimation
Biais : On souhaite que l’estimation ne soit pas systématiquement décalée par rapport
à la valeur vraie.
Définition : Biais
Le biais d’un estimateur Tn de θ est définie par :
bθ = E(Tn ) − θ.
14/30
Biais d’estimation
Biais : On souhaite que l’estimation ne soit pas systématiquement décalée par rapport
à la valeur vraie.
Définition : Biais
Le biais d’un estimateur Tn de θ est définie par :
bθ = E(Tn ) − θ.
Exemple : reprenons notre exemple et montrons que Tn = X̄n est un estimateur sans
biais de πA .
14/30
Biais d’estimation
Biais : On souhaite que l’estimation ne soit pas systématiquement décalée par rapport
à la valeur vraie.
Définition : Biais
Le biais d’un estimateur Tn de θ est définie par :
bθ = E(Tn ) − θ.
Exemple : reprenons notre exemple et montrons que Tn = X̄n est un estimateur sans
biais de πA .
En effet, !
n n
1X 1X
Tn = E Xi = E (Xi ) = E (X ) = πA ,
n n
i=1 i=1
car les Xi sont identiquement distribuées et E(X ) = πA .
Pn
⇒ Tn = 1
n i=1
Xi est donc un estimateur sans biais de la proportion πA .
14/30
Risque quadratique
15/30
Risque quadratique
15/30
Risque quadratique
Remarque
On peut réécrire le risque quadratique R(Tn , θ) sous la forme :
15/30
Risque quadratique
Remarque
On peut réécrire le risque quadratique R(Tn , θ) sous la forme :
En effet :
= E [Tn − θ]2 = E(Tn2 ) − 2θE(Tn ) + θ2
R(Tn , θ)
= E(Tn2 ) − [E(Tn )]2 + [E(Tn )]2 − 2θE(Tn ) + θ2
15/30
= Var(Tn ) − [E(Tn ) − θ]2 = Var(Tn ) + bθ2
Convergence
16/30
Convergence
Définition : Consistance
Un estimateur Tn d’un paramètre θ est dit consistante si la suite {Tn , n ∈ N}
converge en probabilité vers θ :
16/30
Convergence
Définition : Consistance
Un estimateur Tn d’un paramètre θ est dit consistante si la suite {Tn , n ∈ N}
converge en probabilité vers θ :
Proposition
Tout estimateur Tn asymptotiquement sans biais avec une variance tend vers 0 lorsque
n → ∞ est consistante.
16/30
Convergence
Preuve :
Soit ϵ > 0
17/30
Convergence
Preuve :
Soit ϵ > 0
17/30
Convergence
Preuve :
Soit ϵ > 0
17/30
Convergence
18/30
Convergence
En effet
n
!
1X
Var(Tn ) = Var Xi
n
i=1
n
1 X
= Var(Xi ) car les Xi sont indépendantes
n2
i=1
Var(X )
= car les Xi ont la même loi de X
n
πA (1 − πA )
= →0 quand n → ∞
n
18/30
Convergence
En effet
n
!
1X
Var(Tn ) = Var Xi
n
i=1
n
1 X
= Var(Xi ) car les Xi sont indépendantes
n2
i=1
Var(X )
= car les Xi ont la même loi de X
n
πA (1 − πA )
= →0 quand n → ∞
n
On conclut donc que Tn est un estimateur consistance de πA .
On peut également conclure que Tn est fortement convergente grâce la loi forte de
grands nombre.
18/30
Convergence
19/30
Convergence
Rappel
Théorème de la limite centrale : Soient X1 , X2 , . . . , Xn des variables i.i.d carrées
intégrables : E(X12 ) < ∞, alors :
√ L
n(X̄n − E(X1 )) −→ N (0, Var(X1 ))
19/30
Convergence
Les deux théorèmes suivants sont très utiles pour montrer la normalité asymptotiques.
20/30
Convergence
Les deux théorèmes suivants sont très utiles pour montrer la normalité asymptotiques.
20/30
Convergence
Les deux théorèmes suivants sont très utiles pour montrer la normalité asymptotiques.
Exemple : Soit X1 , . . . , Xn un échantillon aléatoire d’une v.a X ∼ E(λ), λ > 0. Montrer que :
√ 1
L
n − λ −→ N (0, 1)
X̄n
20/30
Convergence
Les deux théorèmes suivants sont très utiles pour montrer la normalité asymptotiques.
Exemple : Soit X1 , . . . , Xn un échantillon aléatoire d’une v.a X ∼ E(λ), λ > 0. Montrer que :
√ 1
L
n − λ −→ N (0, 1)
X̄n
20/30
Comparaison de deux estimateurs
21/30
Comparaison de deux estimateurs
Définition : Efficacité
Soient Tn et Tn∗ deux estimateurs sans biais de θ. On dit que Tn∗ est plus efficace que
Tn si
21/30
Comparaison de deux estimateurs
Définition : Efficacité
Soient Tn et Tn∗ deux estimateurs sans biais de θ. On dit que Tn∗ est plus efficace que
Tn si
21/30
Comparaison de deux estimateurs
Définition : Efficacité
Soient Tn et Tn∗ deux estimateurs sans biais de θ. On dit que Tn∗ est plus efficace que
Tn si
21/30
Comparaison de deux estimateurs
Définition : Efficacité
Soient Tn et Tn∗ deux estimateurs sans biais de θ. On dit que Tn∗ est plus efficace que
Tn si
⇓
Exhaustivité, Information de Fisher, Borne de Camer-Rao
21/30
Information de Fisher
Information de Ficher
Définition
On appelle quantité d’information de Fisher In (θ) apportée par un échantillon de taille
n sur le paramètre θ la quantité suivante (si elle existe)
h i2
∂lnL
In (θ) = E (X1 , . . . , Xn , θ)
∂θ
22/30
Information de Ficher
Définition
On appelle quantité d’information de Fisher In (θ) apportée par un échantillon de taille
n sur le paramètre θ la quantité suivante (si elle existe)
h i2
∂lnL
In (θ) = E (X1 , . . . , Xn , θ)
∂θ
Propriétés
Si le domaine de définition de X ne dépend pas de θ, on a :
∂ 2 lnL
1. In (θ) = −E ∂θ 2
(X1 , . . . , Xn , θ)
22/30
Information de Ficher
Définition
On appelle quantité d’information de Fisher In (θ) apportée par un échantillon de taille
n sur le paramètre θ la quantité suivante (si elle existe)
h i2
∂lnL
In (θ) = E (X1 , . . . , Xn , θ)
∂θ
Propriétés
Si le domaine de définition de X ne dépend pas de θ, on a :
∂ 2 lnL
1. In (θ) = −E ∂θ 2
(X1 , . . . , Xn , θ)
2. Additivité (toutes les observations ont la même importance) : In (θ) = nI1 (θ)
22/30
Information de Ficher
Définition
On appelle quantité d’information de Fisher In (θ) apportée par un échantillon de taille
n sur le paramètre θ la quantité suivante (si elle existe)
h i2
∂lnL
In (θ) = E (X1 , . . . , Xn , θ)
∂θ
Propriétés
Si le domaine de définition de X ne dépend pas de θ, on a :
∂ 2 lnL
1. In (θ) = −E ∂θ 2
(X1 , . . . , Xn , θ)
2. Additivité (toutes les observations ont la même importance) : In (θ) = nI1 (θ)
3. Dégradation de l’information : Toute statistique Tn de l’échantillon apporte une
quantité information inférieure ou égale (égalité en cas d’une statistique
exhaustive) à celle apportée par l’échantillon elle-même :
22/30
Information de Fisher
23/30
Borne de Camer Rao
24/30
Borne de Camer Rao
Définition : Efficacité
Soit Tn un estimateur sans biais de ψ(θ), on dit que Tn est un estimateur efficace de
ψ(θ) s’il atteint la borne de Camer-Rao :
′
[ψ (θ)]2
Var(Tn ) = .
In (θ)
On dit que Tn est asymptotiquement efficace, si
′
[ψ (θ)]2
lim = 1.
n→∞ Var(Tn )In (θ)
24/30
Estimation par intervalle de confiance
Intervalle de confiance
25/30
Intervalle de confiance
25/30
Intervalle de confiance
25/30
Intervalle de confiance
26/30
Intervalle de confiance
26/30
Intervalle de confiance
26/30
Intervalle de confiance
26/30
Intervalle de confiance
26/30
Intervalles de confiance pour la moyenne d’une variable normale
27/30
Intervalles de confiance pour la moyenne d’une variable normale
27/30
Intervalles de confiance pour la moyenne d’une variable normale
27/30
Intervalles de confiance pour la moyenne d’une variable normale
27/30
Intervalles de confiance pour la moyenne d’une variable normale
27/30
Intervalles de confiance pour la moyenne d’une variable normale
Théorème de Fisher
Pn nSn2
• 1
σ2 i=1
(Xi − X̄n )2 = 2
∼ Xn−1 .
σ2
√ X̄n −m √
• X̄n et Sn sont indépendantes et n S ∗ = n − 1 X̄nS−m
2
n
∼ Tn−1 . 27/30
n
Intervalles de confiance pour les paramètres d’une variable normale
Cas de σ 2 inconnu
La fonction pivotale
√ X̄n − m
T = n ∼ Tn−1
Sn∗
28/30
Intervalles de confiance pour les paramètres d’une variable normale
Cas de σ 2 inconnu
La fonction pivotale
√ X̄n − m
T = n ∼ Tn−1
Sn∗
On note par tα/2 et t1−α/2 les quantiles d’ordre α/2 et 1 − α/2 de T , on peut écrire
28/30
Intervalles de confiance pour les paramètres d’une variable normale
Cas de σ 2 inconnu
La fonction pivotale
√ X̄n − m
T = n ∼ Tn−1
Sn∗
On note par tα/2 et t1−α/2 les quantiles d’ordre α/2 et 1 − α/2 de T , on peut écrire
Or, on a
−t1−α/2 ≤ T ≤ t1−α/2
S∗ S∗
⇐⇒ X̄n − t1−α/2 √n ≤ m ≤ X̄n + t1−α/2 √n
n n
28/30
Intervalles de confiance pour les paramètres d’une variable normale
Cas de σ 2 inconnu
La fonction pivotale
√ X̄n − m
T = n ∼ Tn−1
Sn∗
On note par tα/2 et t1−α/2 les quantiles d’ordre α/2 et 1 − α/2 de T , on peut écrire
Or, on a
−t1−α/2 ≤ T ≤ t1−α/2
S∗ S∗
⇐⇒ X̄n − t1−α/2 √n ≤ m ≤ X̄n + t1−α/2 √n
n n
Ainsi, l’intervalle
S∗ S∗
X̄n − t1−α/2 √n ; X̄n + t1−α/2 √n
n n
est un intervalle de confiance 1 − α pour la moyenne m.
28/30
Intervalle de confiance pour d’une proportion
29/30
Intervalle de confiance pour d’une proportion
L’équipe électorale souhaite qu’on évalue l’incertitude portant sur cette estimation ⇒
Intervalle de confiance 95% (α = 5%) pour πA .
29/30
Intervalle de confiance pour d’une proportion
L’équipe électorale souhaite qu’on évalue l’incertitude portant sur cette estimation ⇒
Intervalle de confiance 95% (α = 5%) pour πA .
On a montré que X̄n est l’EMV sans biais, consistante et asymptotiquement normale
de πA :
√ X̄n − πA L
np −→ N (0, 1)
πA (1 − πA )
29/30
Intervalle de confiance pour d’une proportion
L’équipe électorale souhaite qu’on évalue l’incertitude portant sur cette estimation ⇒
Intervalle de confiance 95% (α = 5%) pour πA .
On a montré que X̄n est l’EMV sans biais, consistante et asymptotiquement normale
de πA :
√ X̄n − πA L
np −→ N (0, 1)
πA (1 − πA )
√ X̄n − πA L
Z = np −→ N (0, 1)
X̄n (1 − X̄n )
Ainsi, on peut considérer Z comme étant une fonction pivotale pour πA .
29/30
Intervalle de confiance pour d’une proportion
P −z1−α/2 ≤ Z ≤ z1−α/2 ≈ 1 − α.
30/30
Intervalle de confiance pour d’une proportion
P −z1−α/2 ≤ Z ≤ z1−α/2 ≈ 1 − α.
Ainsi, l’intervalle
" p p #
X̄n (1 − X̄n ) X̄n (1 − X̄n )
X̄n − z1−α/2 √ ; X̄n + z1−α/2 √
n n
30/30
Intervalle de confiance pour d’une proportion
P −z1−α/2 ≤ Z ≤ z1−α/2 ≈ 1 − α.
Ainsi, l’intervalle
" p p #
X̄n (1 − X̄n ) X̄n (1 − X̄n )
X̄n − z1−α/2 √ ; X̄n + z1−α/2 √
n n
Application :
α = 0.05, z0.975 = 1.96 et x̄n = 0.52, ainsi l’intervalle de confiance asymptotique
95% de πA est :
√ √
0.52 × 0.48 0.52 × 0.48
0.52 − 1.96 √ ; 0.52 + 1.96 √ = [0.49 ; 0.55]
1000 1000
30/30