0% ont trouvé ce document utile (0 vote)
361 vues10 pages

Estimation Paramétrique: Moments et Vraisemblance

Ce document décrit deux méthodes d'estimation ponctuelle des paramètres des lois de probabilité: la méthode des moments et la méthode du maximum de vraisemblance. Il présente les qualités d'un bon estimateur et donne des exemples d'application de ces méthodes.

Transféré par

Junior Adya
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
0% ont trouvé ce document utile (0 vote)
361 vues10 pages

Estimation Paramétrique: Moments et Vraisemblance

Ce document décrit deux méthodes d'estimation ponctuelle des paramètres des lois de probabilité: la méthode des moments et la méthode du maximum de vraisemblance. Il présente les qualités d'un bon estimateur et donne des exemples d'application de ces méthodes.

Transféré par

Junior Adya
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Contents

CHAPITRE 8 (SUITE) – ESTIMATION PONCTUELLE DES PARAMETRES DES LOIS PAR


LA METHODE DES MOMENTS ET LA METHODE DU MAXIMUM DE
VRAISEMBLANCE .......................................................................................................... 2
8.1 - QUALITÉS D’UN BON ESTIMATEUR : 𝜽 ............................................................. 2
1. Absence de biais: .............................................................................................. 2
2. Convergence : .................................................................................................. 2
3. Efficacité : ........................................................................................................ 2
8.2 - Estimation Ponctuelle d’un paramètre : 𝜽 .................................................................. 2
8.2.1 La méthode des moments ........................................................................................ 2
8.2.2 - Méthode de Maximum de Vraisemblance ............................................................... 3
8.2.2.1 - But de la méthode .......................................................................................... 3
8.2.2.2 - Fonction de vraisemblance d’un paramètre 𝜽: L(X1, X2, … Xn, 𝜽) ...................... 3
8.2.2.3 - Linéarisation de la fonction de vraisemblance : 𝒍𝒏𝐋(𝐗𝟏, 𝐗𝟐, … , 𝐗𝒏, 𝜽) ................ 4
8.2.2.4 - Condition nécessaire ou condition de 1er ordre (c.p.o.) ....................................... 4
8.2.2.5 - Condition suffisante ou condition du 2e ordre (c.d.o.) ......................................... 4
8.2.2.6 - Exemple d’estimation ponctuelle par la méthode du maximum de vraisemblance ..... 4
Autres exercices d’applications ...................................................................................... 10

Notes de cours L2 / FIP2 Dr Mahop Page 1 of 10


CHAPITRE 8 (SUITE) – ESTIMATION PONCTUELLE DES
PARAMETRES DES LOIS PAR LA METHODE DES MOMENTS ET LA
METHODE DU MAXIMUM DE VRAISEMBLANCE

8.1 - QUALITÉS D’UN BON ESTIMATEUR : 𝜽 ̂


Voici les principales qualités que devrait avoir un estimateur :
1. Absence de biais:
On dit qu’un estimateur 𝜃̂ est non biaisé si sa valeur espérée 𝐸(𝜃̂) est égale au paramètre à
estimer. 𝜽̂ 𝑒𝑠𝑡 𝑠𝑎𝑛𝑠 𝑏𝑖𝑎𝑖𝑠 si 𝑬(𝜽̂) = 𝜽

𝜽̂ 𝑒𝑠𝑡 𝑎𝑠𝑦𝑚𝑝𝑡𝑜𝑡𝑖𝑞𝑢𝑒𝑚𝑒𝑛𝑡 𝑠𝑎𝑛𝑠 𝑏𝑖𝑎𝑖𝑠 𝑠𝑖 lim 𝑬(𝜽


̂) = 𝜽
𝑛→+∞
2. Convergence :
On dit qu’un estimateur non biaisé 𝜃̂ est convergent si sa distribution tend à se concentrer de
plus en plus autour du paramètre à estimer, lorsque la taille de l’échantillon augmente.
̂ 𝑒𝑠𝑡 𝑐𝑜𝑛𝑣𝑒𝑟𝑔𝑒𝑛𝑡 𝑠𝑖 lim 𝑉(𝜃̂) = 𝟎
𝜽
𝑛→∞
3. Efficacité :
Dans la classe de tous les estimateurs non biaisés, le plus efficace est celui qui possède la plus
petite variance.
̂𝟏 𝑒𝑡 𝜽
Soient : 𝜽 ̂𝟐 si 𝑉(𝜽̂𝟐 ) ≤ 𝑉(𝜽̂𝟏 ) alors 𝜽
̂𝟐 est l’estimateur le plus efficace des deux
estimateurs de 𝜽.

̂ est l’estimateur obtenu par la méthode du maximum de vraisemblance (EMV), 𝜽


Si 𝜽 ̂ est
𝝏𝟐 𝑳𝒏(𝑳) 𝟏
̂ ) = −𝑬 ⟦
efficace si 𝑰𝒏 (𝜽 ⟧ =
𝝏𝜽𝟐 ̂
𝜽=𝜽 ̂)
𝑽(𝜽

2
𝜕 𝐿𝑛(𝐿)
Où 𝐼𝑛 (𝜃̂) = −𝐸 ⟦ 𝜕𝜃2 ⟧ est appelé la quantité d’information de Fisher.
̂
𝜃=𝜃

8.2 - Estimation Ponctuelle d’un paramètre : 𝜽


C’est la valeur de l’estimateur calculée à partir de l’échantillon spécifique qui a été observé.

8.2.1 La méthode des moments


La méthode des moments consiste à écrire l’égalité entre les moments théoriques 𝐸(𝑌 𝑟 ) et les
∑ 𝑌𝑖𝑟
moments empiriques correspondants 𝑚𝑟 = . Puis on résout l’équation pour déterminer un
𝑛
estimateur du paramètre.

Notes de cours L2 / FIP2 Dr Mahop Page 2 of 10


𝑚𝑜𝑚𝑒𝑛𝑡 𝑚𝑜𝑚𝑒𝑛𝑡
𝑡ℎé𝑜𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒 𝑒𝑚𝑝𝑖𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒
𝑑′ 𝑜𝑟𝑑𝑟𝑒 𝑟 𝑑′ 𝑜𝑟𝑑𝑟𝑒 𝑟
⏞ 𝑟) ∑ 𝑌𝑖𝑟
𝐸(𝑌 = ⏞𝑟
𝑚 = 𝑛
𝑚𝑜𝑚𝑒𝑛𝑡 𝑚𝑜𝑚𝑒𝑛𝑡
𝑡ℎé𝑜𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒 𝑒𝑚𝑝𝑖𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒
Méthode des moments ⇔ 𝑑′ 𝑜𝑟𝑑𝑟𝑒 1 𝑑′ 𝑜𝑟𝑑𝑟𝑒 1
⏞ ∑ 𝑌𝑖
𝐸(𝑌) = ⏞1
𝑚 = = 𝑌̅
𝑛
∑ 𝑌𝑖2
⏟ 2)
𝐸(𝑌 = 𝑚
⏟2 = 𝑛
𝑚𝑜𝑚𝑒𝑛𝑡 𝑚𝑜𝑚𝑒𝑛𝑡
𝑡ℎé𝑜𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒 𝑒𝑚𝑝𝑖𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒
{ 𝑑′ 𝑜𝑟𝑑𝑟𝑒 2 𝑑′ 𝑜𝑟𝑑𝑟𝑒 2

Exemple
Soit la variable Y qui a pour distribution de probabilité f(y) donnée comme suit :
(𝑝 + 1)𝑦 𝑝 , 0≤𝑦≤1
𝑓(𝑦) = {
0, 𝑠𝑖𝑛𝑜𝑛
Soit un échantillon aléatoire (𝑌1 ; 𝑌2 ; … ; 𝑌𝑛 ) indépendamment et identiquement distribuées selon la
loi de Y. Déterminer un estimateur 𝑝̂ du paramètre p par la méthode de moments.
On sait que :
+∞ 1
𝑝 + 1 𝑝+2 1 𝑝 + 1
𝐸(𝑌) = ∫ 𝑦𝑓(𝑦)𝑑𝑦 = ∫ 𝑦(𝑝 + 1)𝑦 𝑝 𝑑𝑦 = [𝑦 ]0 =
𝑝+2 𝑝+2
−∞ 0
𝑝+1
𝐸(𝑌) =
𝑝+2
∑ 𝑌𝑖
𝑚1 = = 𝑦̅
𝑛
𝑚𝑜𝑚𝑒𝑛𝑡 𝑚𝑜𝑚𝑒𝑛𝑡
𝑡ℎé𝑜𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒 𝑒𝑚𝑝𝑖𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒
𝑑′ 𝑜𝑟𝑑𝑟𝑒 1 𝑑′ 𝑜𝑟𝑑𝑟𝑒 1
⏞ 𝑝+1 ∑ 𝑌𝑖 2𝑦̅−1
𝐸(𝑌) = ⏞1
𝑚 ⇔ 𝑝+2 = = 𝑦̅ et on obtient 𝑝̂ = estimateur de p par la
𝑛 1−𝑦̅
méthode des moments (EMM).

8.2.2 - Méthode de Maximum de Vraisemblance


8.2.2.1 - But de la méthode
Trouver une valeur de 𝜽 qui maximise la fonction de vraisemblance L. Cette valeur solution
unique du programme de maximisation sera notée 𝜽 ̂ . Le maximum de L est atteint pour 𝜽 = 𝜽̂.

8.2.2.2 - Fonction de vraisemblance d’un paramètre 𝜽: L(X1, X2, … Xn, 𝜽)


- Soit X une variable aléatoire,
- Soit un échantillon aléatoire (X1, X2, …, Xn) de n variables aléatoires indépendantes et
identiques (de même loi de distribution),
- Soit 𝜽 le paramètre à estimer,
La fonction de vraisemblance de 𝜽 est la loi conjointe du vecteur aléatoire (X1, X2, … Xn) notée :
L(X1, X2, … Xn, 𝜽)

Notes de cours L2 / FIP2 Dr Mahop Page 3 of 10


𝑖=𝑛

𝐿(𝑋1 , 𝑋2 , … 𝑋𝑛 , 𝜽) = ∏ 𝑃(𝑋𝑖 = 𝑥𝑖 ) , 𝑠𝑖 𝑋 𝑒𝑠𝑡 𝑢𝑛 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑑𝑖𝑠𝑐𝑟è𝑡𝑒


𝑖=1

𝑖=𝑛

𝐿(𝑋1 , 𝑋2 , … 𝑋𝑛 , 𝜽) = ∏ 𝑓(𝑥𝑖 , 𝜃) , 𝑠𝑖 𝑋 𝑒𝑠𝑡 𝑢𝑛 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑐𝑜𝑛𝑡𝑖𝑛𝑢𝑒


𝑖=1

8.2.2.3 - Linéarisation de la fonction de vraisemblance : 𝒍𝒏[𝐋(𝐗 𝟏 , 𝐗 𝟐 , … , 𝐗 𝒏 , 𝜽)]


8.2.2.4 - Condition nécessaire ou condition de 1er ordre (c.p.o.)
𝝏 𝐥𝐧(𝑳)
= 𝟎 , é𝒒𝒖𝒂𝒕𝒊𝒐𝒏 𝒅𝒆 𝒗𝒓𝒂𝒊𝒔𝒆𝒎𝒃𝒍𝒂𝒏𝒄𝒆
𝝏𝜽

8.2.2.5 - Condition suffisante ou condition du 2e ordre (c.d.o.)


𝝏𝟐 𝐥𝐧(𝑳)
] <𝟎
𝝏𝜽𝟐 𝜽=𝜽̂
8.2.2.6 - Exemple d’estimation ponctuelle par la méthode du maximum de vraisemblance
Exercice 1 :
Estimation du paramètre de la loi de poisson par la méthode du maximum de vraisemblance
Soit X une variable aléatoire qui suit une loi de Poisson de paramètre 𝜆, et on note 𝑋 ↝ 𝒫(𝜆),
si :
𝜆𝑥
𝑃(𝑋 = 𝑥) = 𝑒 −𝜆 × , 𝑎𝑣𝑒𝑐 𝜆 > 0
𝑥!

1°) Estimer 𝜆 par la méthode du maximum de vraisemblance.


2°) Montrer que l’estimateur trouvé est sans biais et convergent.

Exercice 2
– Soit une variable aléatoire X dont la loi de probabilité est donnée par la fonction suivante :
0 si x < 0
𝑓(𝑥) = { 1 - 𝛼𝑥 ;𝛼 > 0
e si x ≥ 0
𝛼
1°) Vérifier que f est une densité de probabilité. Calculer l'espérance mathématique de X.
2°) Estimer  par la méthode du maximum de vraisemblance.
3°) Montrer que cet estimateur est sans biais et Convergent.

Exercice 3 :
-Dans une population P, on définit la variable aléatoire X dont la loi de probabilité est donnée par
la densité de probabilité suivante :
2x - 𝑥 2
𝑓(x, 𝜃) = { 𝜃 e 𝜃 si x ≥ 0 ; 𝜃 > 0
0 si x < 0

Notes de cours L2 / FIP2 Dr Mahop Page 4 of 10


On prélève un échantillon (X1, X2, X3, . . ., Xn).
1°) Vérifier que f est une densité de probabilité;
2°) Estimer par la méthode du Maximum de vraisemblance le paramètre . On notera
𝜃̂ (𝑋𝑛 ) cet estimateur.
3°) Estimer le paramètre  par la méthode des moments.
4°) Déterminer la loi de probabilité de la variable aléatoire Y = X2.
5°) Déduire de la question précédente que l'estimateur 𝜃̂ est sans biais et convergent.

Exercice 1 : Corrigé
Estimation du paramètre de la loi de poisson par la méthode du maximum de vraisemblance
Soit X une variable aléatoire qui suit une loi de Poisson de paramètre 𝜆, et on note 𝑋 ↝ 𝒫(𝜆),
si :
−𝜆
𝜆𝑥
𝑃(𝑋 = 𝑥) = 𝑒 , 𝑎𝑣𝑒𝑐 𝜆 > 0
𝑥!

1°) Estimer 𝜆 par la méthode du maximum de vraisemblance.


2°) Montrer que l’estimateur trouvé est sans biais et convergent.
Corrigé
1) On note que X suit la loi de Poisson de paramètre 𝜆 et 𝐸(𝑋) = 𝑉(𝑋) = 𝜆
a) La fonction de vraisemblance du paramètre :
𝑖=𝑛
𝜆 𝑥𝑖 𝜆 𝑥1 𝜆 𝑥2 𝜆 𝑥𝑛
𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝜆) = ∏ 𝑃(𝑋 = 𝑥𝑖 ) = ∏ [𝑒 −𝜆 ] = 𝑒 −𝜆 × 𝑒 −𝜆 × … × 𝑒 −𝜆
𝑥𝑖 ! 𝑥1 ! 𝑥2 ! 𝑥𝑛 !
𝑖=1 𝑖=1
𝑖=𝑛
𝜆 𝑥𝑖 𝜆(𝑥1+𝑥2+⋯+𝑥𝑛)
𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝜆) = ∏ 𝑃(𝑋 = 𝑥𝑖 ) = ∏ [𝑒 −𝜆 ] = 𝑒 −𝑛𝜆
𝑥𝑖 ! 𝑥1 ! 𝑥2 ! … 𝑥𝑛 !
𝑖=1 𝑖
𝑖=𝑛 𝑖=𝑛
−𝜆
𝜆 𝑥𝑖 −𝑛𝜆
𝜆∑𝑖=1 𝑥𝑖
𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝜆) = ∏ 𝑃(𝑋 = 𝑥𝑖 ) = ∏ [𝑒 ]=𝑒
𝑥𝑖 ! ∏𝑖=𝑛
𝑖=1 𝑥𝑖 !
𝑖=1 𝑖
∑𝑖=𝑛
𝑖=1 𝑥𝑖
𝜆
𝐿(𝑋𝑛 ; 𝜆) = 𝑒 −𝑛𝜆
∏𝑖=𝑛
𝑖=1 𝑥𝑖 !
𝑖=𝑛
𝜆∑𝑖=1 𝑥𝑖
b) Linéariser la fonction de vraisemblance : 𝐿𝑛(𝐿(𝑋𝑛 ; 𝜆)) = 𝐿𝑛 [𝑒 −𝑛𝜆 ∏𝑖=𝑛 ]
𝑖=1 𝑥𝑖 !

𝑖=𝑛 𝑖=𝑛
−𝑛𝜆
𝜆∑𝑖=1 𝑥𝑖
𝐿𝑛(𝐿(𝑋𝑛 ; 𝜆)) = 𝐿𝑛 [𝑒 ] = −𝑛𝜆 + (∑ 𝑥𝑖 ) 𝑙𝑛𝜆 − 𝑙𝑛 (∏ 𝑥𝑖 !)
∏𝑖=𝑛
𝑖=1 𝑥𝑖 ! 𝑖=1
𝑖=𝑛

𝐿𝑛(𝐿(𝑋𝑛 ; 𝜆)) = −𝑛𝜆 + (∑ 𝑥𝑖 ) 𝑙𝑛𝜆 − 𝑙𝑛 (∏ 𝑥𝑖 !)


𝑖=1
c) Condition nécessaire :
𝜕𝐿𝑛(𝐿) ∑ 𝑥𝑖 ∑ 𝑋𝑖
= 0 ⟺ −𝑛 + = 0 ⟹ 𝜆̂ = = 𝑋̅
𝜕𝜆 𝜆 𝑛

Notes de cours L2 / FIP2 Dr Mahop Page 5 of 10


d) Condition suffisante :
𝝏𝟐 𝒍𝒏(𝑳) ∑ 𝑥𝑖 𝑛𝜆̂ 𝑛
] = − =− =− <0
𝝏𝝀𝟐 𝝀=𝝀̂ 𝜆̂2 𝜆̂2
⏟ 𝜆̂
̂=∑ 𝑋𝑖 ⇒∑ 𝑋𝑖 =𝑛𝜆
𝜆 ̂
𝑛

∑ 𝑋𝑖
𝑙 ′ 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒𝑢𝑟 𝑑𝑢 𝑚𝑎𝑥𝑖𝑚𝑢𝑚 𝑑𝑒 𝑣𝑟𝑎𝑖𝑠𝑒𝑚𝑏𝑙𝑎𝑛𝑐𝑒 𝑑𝑒 𝜆 𝑒𝑠𝑡 𝑑𝑜𝑛𝑐 𝜆̂ =
𝑛

2)
∑𝑋 1 1 1
a) 𝐸(𝜆̂) = 𝐸 ( 𝑛 𝑖 ) = 𝑛 𝐸(∑𝑖=𝑛
𝑖=1 𝑋𝑖 ) = 𝑛 ∑(𝐸(𝑋𝑖 ) = 𝑛 × 𝑛. 𝜆 = 𝜆
𝐸(𝜆̂) = 𝜆, 𝑑𝑜𝑛𝑐 𝜆̂ 𝑒𝑠𝑡 𝑠𝑎𝑛𝑠 𝑏𝑖𝑎𝑖𝑠.

∑𝑋 1 1 1 𝜆
b) V(𝜆̂) = 𝑉 ( 𝑛 𝑖 ) = 𝑛2 𝑉(∑𝑖=𝑛
𝑖=1 𝑋𝑖 ) = 𝑛2 [∑ 𝑉(𝑋𝑖 )] = 𝑛2 × 𝑛𝜆 = 𝑛
𝜆
lim V(𝜆̂) = 𝑙𝑖𝑚 = 0, 𝑑𝑜𝑛𝑐 𝜆̂ 𝑒𝑠𝑡 𝑐𝑜𝑛𝑣𝑒𝑟𝑔𝑒𝑛𝑡.
𝑛→+∞ 𝑛→+∞ 𝑛

Exercice2- Corrige
Soit une variable aléatoire X dont la loi de probabilité est donnée par la fonction suivante :
0 si x < 0
𝑓(𝑥) = { 1 𝑥 ;𝛼 > 0
e - 𝛼 si x ≥ 0
𝛼
1°) Vérifier que f est une densité de probabilité. Calculer l'espérance mathématique de X.
2°) Estimer  par la méthode du maximum de vraisemblance.
3°) Montrer que cet estimateur est sans biais et Convergent.
Solution - 1°) Vérification que f est une densité de probabilité (ddp)
On note que X suit la loi exponentielle de paramètre 𝛼 ; avec 𝐸(𝑋) = 𝛼 et 𝑉(𝑋) = 𝛼 2
𝑓(𝑥) ≥ 0
𝑓 𝑒𝑠𝑡 𝑢𝑛𝑒 𝑑𝑑𝑝 𝑠𝑖 { 𝑒𝑡 ;
+∞
∫−∞ 𝑓(𝑥)𝑑𝑥 = 1
𝑥 𝑥 +∞
+∞ 0 +∞ 1
or 𝑓(𝑥) ≥ 0, ∀𝑥 ∈ ℝ 𝑒𝑡 ∫−∞ 𝑓(𝑥)𝑑𝑥 = ∫−∞ 0𝑑𝑥 + ∫0 (𝛼 e - 𝛼 ) 𝑑𝑥 = 0 + [−e - 𝛼 ] =1
0
donc f(x) est une ddp.
2°) Estimateur du Maximum de vraisemblance de α.
Fonction de vraisemblance : 𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝛼)
𝑖=𝑛 𝑖=𝑛
1 - 𝑥𝑖 1 𝑥1 1 𝑥2 1 𝑥𝑛
𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝛼) = ∏ 𝑓(𝑥𝑖 ; 𝛼) = ∏ [ e 𝛼] = e- 𝛼 × e- 𝛼 × …× e- 𝛼
𝛼 𝛼 𝛼 𝛼
𝑖=1 𝑖=1

1 𝑛 - 1 (𝑥1+𝑥2+⋯+𝑥𝑛)
𝑖=𝑛
∑𝑖=1 𝑥𝑖
𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝛼) = ( ) e 𝛼 = 𝛼 −𝑛 𝑒 − 𝛼
𝛼

Notes de cours L2 / FIP2 Dr Mahop Page 6 of 10


Linéarisation avec Ln
∑𝑖=𝑛 ∑𝑖=𝑛 ∑𝑖=𝑛
𝑖=1 𝑥𝑖 𝑖=1 𝑥𝑖 𝑖=1 𝑥𝑖
𝑙𝑛 𝐿 (𝑋1 ; 𝑋2 ; . . . ; 𝑋𝑛 ; 𝛼) = 𝑙𝑛 (𝑎−𝑛 𝑒 − 𝛼 ) = 𝑙𝑛𝑎−𝑛 −
= −𝑛 𝑙𝑛 𝛼 −
𝛼 𝛼
𝑖=𝑛
∑𝑖=1 𝑥𝑖
𝑙𝑛 𝐿 (𝑋1 ; 𝑋2 ; . . . ; 𝑋𝑛 ; 𝛼) = −𝑛 𝑙𝑛 𝛼 −
𝛼
Condition du 1er ordre (Equation de vraisemblance)
𝑖=𝑛
𝜕 𝑙𝑛 𝐿 𝑛 1 𝛼𝑛 ∑𝑖=𝑛
𝑖=1 𝑥𝑖 ∑𝑖=𝑛
𝑖=1 𝑥𝑖
= 0 ⇒ − + 2 ∑ 𝑥𝑖 = 0 (1) ⇒ − 2 + = 0 ⇒ 𝛼
̂ =
𝜕𝛼 𝛼 𝛼 𝛼 𝛼2 𝑛
𝑖=1
Condition du second ordre (dérivée de l’équation de vraisemblance (1))
𝑖=𝑛
𝜕 2 𝑙𝑛 𝐿 𝑛 2
2
] = 2 − 3 ∑ 𝑥𝑖 , (2)
𝜕𝛼 𝛼=𝛼̂ 𝛼̂ 𝛼̂
𝑖=1
∑𝑖=𝑛
𝑖=1 𝑥𝑖
On sait que : 𝛼̂ = ⇒ ∑𝑖=𝑛
𝑖=1 𝑥𝑖 =
𝑛𝛼̂ et on remplace dans (2), on obtient :
𝑛
2 𝑙𝑛 𝐿
𝜕 𝑛𝛼̂ − 2𝑛𝛼̂ 𝑛
2
] = 3
=− <0
𝜕𝛼 𝛼=𝛼̂ 𝛼̂ 𝛼̂²
Et l’estimateur de maximum de vraisemblance de α est :
∑ 𝑥𝑖
𝛼̂ =
𝑛

3°) Propriétés de l’estimateur 𝛼̂


∑𝑋
𝛼̂ est sans biais si 𝐸(𝛼̂) = 𝐸 ( 𝑛 𝑖 ) = 𝛼 (1) et
∑ 𝑋𝑖
𝛼̂ est convergent lim 𝑉 (𝛼̂) = lim 𝑉 ( )=0 (2)
𝑛→∞ 𝑛→∞ 𝑛

Propriétés de 𝛼̂ :
∑𝑋 1 1 1
𝐸(𝛼̂) = 𝐸 ( 𝑛 𝑖 ) = 𝑛 𝐸(∑ 𝑋𝑖 ) = 𝑛 ∑𝑖=𝑛
𝑖=1 𝐸(𝑋𝑖 ) = 𝑛 × 𝑛 × 𝐸(𝑋𝑖 )
⏟ =𝛼
𝑋𝑖 𝑠𝑢𝑖𝑡 𝑙𝑎 𝑙𝑜𝑖
𝑒𝑥𝑝𝑜𝑛𝑒𝑛𝑡𝑖𝑒𝑙𝑙𝑒 𝑑𝑒
𝑝𝑎𝑟𝑎𝑚è𝑡𝑟𝑒 𝛼
𝑒𝑡 𝐸(𝑋𝑖 )=𝛼
⇒ 𝐸(𝛼̂) = 𝛼 , 𝛼̂ est donc un estimateur sans biais de 𝛼.

∑ 𝑋𝑖 1 1 1 𝛼²
et V(𝛼̂) = 𝑉 ( ) = 𝑛2 V(∑ 𝑋𝑖 ) = 𝑛2 ∑𝑖=𝑛
𝑖=1 𝑉(𝑋𝑖 ) = 𝑛2 × 𝑛 ⏟2
𝛼 =
𝑛 𝑛
𝑋𝑖 𝑠𝑢𝑖𝑡 𝑙𝑎 𝑙𝑜𝑖
𝑒𝑥𝑝𝑜𝑛𝑒𝑛𝑡𝑖𝑒𝑙𝑙𝑒 𝑑𝑒
𝑝𝑎𝑟𝑎𝑚è𝑡𝑟𝑒 𝛼
𝑒𝑡 𝑉(𝑋𝑖 )=𝛼2
𝛼²
⇒ lim 𝑉 (𝛼̂) = lim = 0 , donc 𝛼̂ est convergent.
𝑛→∞ 𝑛→∞ 𝑛

Exercice3- Corrigé
Dans une population P, on définit la variable aléatoire X dont la loi de probabilité est donnée par
la densité de probabilité suivante :

Notes de cours L2 / FIP2 Dr Mahop Page 7 of 10


2x - 𝑥 2
𝑓(x, 𝜃) = { 𝜃 e 𝜃 si x ≥ 0 ; 𝜃 > 0
0 si x < 0
On prélève un échantillon (X1, X2, X3, . . ., Xn).
1°) Vérifier que f est une densité de probabilité;
2°) Estimer par la méthode du Maximum de vraisemblance le paramètre . On notera
𝜃̂ (𝑋𝑛 ) cet estimateur.
3°) Estimer le paramètre  par la méthode des moments.
4°) Déterminer la loi de probabilité de la variable aléatoire Y = X2.
5°) Déduire de la question précédente que l'estimateur 𝜃̂ est sans biais et convergent.
Solution-
𝑓(𝑥) ≥ 0
X est une variable continue dont la d. d. p. 𝑠𝑖 { 𝑒𝑡
+∞
∫−∞ 𝑓(𝑥)𝑑𝑥 = 1

2x - 𝑥 2
𝑓(x; 𝜃) = { 𝜃 e 𝜃 si x ≥ 0 ; 𝜃 > 0
0 si x < 0

1°) f est une densité de probabilité. En effet :


x 2
2x - 
   0, x  0  e  0 et f(x)  0; x  IR

2 𝑥2
+∞
+∞ 0 +∞ 2x - 𝑥 -
 ∫−∞ 𝑓(𝑥)𝑑𝑥 = ∫−∞ 0𝑑𝑥 + ∫0 𝜃 e 𝜃 𝑑𝑥 = 0 + [−e 𝜃 ] =1
0

2°) Estimateur du Maximum de vraisemblance de .


2
 2   xi
 2x - x i  n - i
L =  f(xi ,  ) =   i e   =  2   (xi ) e 
     i
i  
 

∑ 𝑥𝑖2
𝑙𝑛𝐿(𝑋𝑛 ; 𝜃) = 𝑛𝑙𝑛2 − 𝑛𝑙𝑛𝜃 + 𝑙𝑛 (∏ 𝑥𝑖 ) −
𝜃

∑ 𝑥𝑖2
𝑙𝑛𝐿(𝑋𝑛 ; 𝜃) = 𝑛𝑙𝑛2 − 𝑛𝑙𝑛𝜃 + ∑ 𝑙𝑛𝑥𝑖 −
𝜃

Notes de cours L2 / FIP2 Dr Mahop Page 8 of 10


 x i2 − n +  x i2  x i2
 Log L n
=− + i = i = 0  ˆ = i
  2  2 n
2 x i2   Xi2
2
 Log L  n  n 2n ˆ n
 = − i  = − =− 0 et ˆ(Xn ) = i
 2
 =ˆ 
2
 
3
ˆ 2
ˆ 3
ˆ 2 n
 =ˆ
Donc l’estimateur par la méthode du maximum de vraisemblance (EMV) est :
1
𝜃̂ = ∑ 𝑋𝑖2
𝑛
𝑖

3°) Estimer par la méthode des moments.


La méthode des moments consiste à égaliser les moments simples théoriques 𝐸(𝑋 𝑟 ) et les moments
∑ 𝑥𝑟
simples empiriques 𝑋̅𝑟 = 𝑖 𝑛
∑𝑋 2
On calcule E(X ) et égalisons à 𝑋̅2 = 𝑛 𝑖
2

+∞ +∞ +∞
2𝑥 𝑥²
𝐸(X²)= ∫ x²f(𝑥)dx = ∫ x² ( 𝑒 − 𝜃 ) dx = ∫ ue-u 𝜃du = 𝜃𝛤(2) = 𝜃1! = 𝜃
0 0 𝜃 ⏟0
𝑓𝑜𝑛𝑐𝑡𝑖𝑜𝑛 𝑔𝑎𝑚𝑚𝑎 𝑑′𝐸𝑢𝑙𝑒𝑟
∑𝑖 𝑋𝑖2
⇒ 𝜃 = 𝐸(X²) = 𝑚2 ; et 𝜃̂ =
𝑛

Remarque : méthode d’intégration débouchant sur la fonction gamma d’Euler pour calculer
+∞
2𝑥 𝑥² 𝑥2
𝐸(X²)= ∫ x² ( 𝑒 − 𝜃 ) dx 𝑒𝑡 𝑝𝑜𝑠𝑜𝑛𝑠 𝑢 =
0 𝜃 𝜃
2
𝑥 = 𝜃𝑢
𝑒𝑡
2𝑥𝑑𝑥 𝜃𝑑𝑢
⇒ 𝑑𝑢 = ⇒ 𝑑𝑥 =
𝜃 2𝑥
𝑒𝑡
𝑥2 𝑥2
lim
{𝑥→0 𝜃 = 0 ⇒ lim 𝑢 = 0 𝑒𝑡 lim = +∞ ⇒ lim 𝑢 = +∞
𝑥→0 𝑥→+∞ 𝜃 𝑥→+∞
On remplace u dans le calcul de 𝐸(X²)
+∞ +∞ +∞ +∞
2𝑥 −𝑥 2 2𝑥 -u 𝜃𝑑𝑢
𝐸(X²)= ∫ x² ( 𝑒 ) dx = ∫ 𝜃𝑢 e (
𝜃 ) = ∫ 𝜃𝑢e du = 𝜃 ∫ 𝑢e-u du
-u
0 𝜃 0 𝜃 2𝑥 0 0
𝑝𝑜𝑢𝑟 𝑛 > 0
Rappel : la fonction gamma d’Euler est: { +∞
Γ(𝑛) = ∫0 𝑢𝑛−1 e-u du = (n − 1)!
+∞
⇒∫ 𝑢e-u du = Γ(2) = (2 − 1)! = 1! = 1
0
+∞
⇒ 𝐸(X²) = 𝜃 ∫ 𝑢e-u du = 𝜃 × 1! = 𝜃 𝑠𝑜𝑖𝑡 𝐸(X²) = 𝜃
0

Notes de cours L2 / FIP2 Dr Mahop Page 9 of 10


4°) Loi de Probabilité de Y= X²
Soient F et f respectivement la fonction de répartition et la densité de probabilité (ddp) de X.
Soient G et g respectivement la fonction de répartition et la densité de probabilité (ddp) de Y.
On a :
𝐺(𝑦)= P(Y≤y)=P(X²<y)=P(|𝑋| ≤ √𝑦) = 𝑃(−√𝑦 ≤ X≤√𝑦) = 𝐹(√𝑦) − 𝐹(−√𝑦)
′ ′ ′
⇒ 𝑔(𝑦)=𝐺 ′ (𝑦) = [𝐹(√𝑦) − 𝐹(−√𝑦)] = [𝐹(√𝑦)] − [𝐹(−√𝑦)]
𝑜𝑛 𝑠𝑎𝑖𝑡 𝑞𝑢𝑒: (𝑔𝑜𝑓)(𝑥)′ = 𝑓′ × 𝑔′(𝑓(𝑥))
𝑔(𝑦) = [(√𝑦)′ × 𝐹 ′ (√𝑦)] − [(−√𝑦)′ × 𝐹 ′ (−√𝑦)]
𝑔(𝑦) = [(√𝑦)′ × 𝑓(√𝑦)] − [(−√𝑦)′ × 𝑓(−√𝑦)]
1 1 1
⇒ 𝑔(𝑦)= [ ×f(√𝑦)] - [− × 𝑓(−
⏟ √𝑦) ] = × 𝑓(
⏟√𝑦) +0
2√𝑦 2√𝑦 2√𝑦 2
𝑓(𝑥)=0 𝑠𝑖 𝑥<0 2x - 𝑥
𝑓(𝑥)= e 𝜃 , 𝑠𝑖 𝑥≥0
𝜃
1 2√𝑦 −(√ 𝑦)2
1 𝑦
𝑔(𝑦) = × 𝑒 𝜃 = 𝑒 −𝜃
2√𝑦 𝜃 𝜃
1 − 𝑦
𝑠𝑜𝑖𝑡 𝑔(𝑦) = {𝜃 𝑒
𝜃 𝑠𝑖 𝑥 ≥ 0

0 𝑠𝑖 𝑥 < 0

Et Y suit une loi exponentielle de paramètre , avec E(Y) =  et V(Y) = θ2.


∑ 𝑋2 ∑ 𝑌 ∑ 𝑌 1
5°) Or l'estimateur de  est : 𝜃̂ = 𝑖𝑛 𝑖 = 𝑖𝑛 𝑖 = 𝑌 ⇒ 𝐸(𝜃̂) = 𝐸( 𝑖𝑛 𝑖 ) = 𝑛 × 𝑛𝜃 = 𝜃. Cet
estimateur est sans biais de .
∑ 𝑌 1 1 𝜃² 𝜎2
Par ailleurs 𝑉(𝜃̂)=V ( 𝑖 𝑖 ) = )
2 𝑉(∑𝑖 𝑌𝑖 =
2
2 × 𝑛𝜃 =
et lim 𝑉(𝜃̂) = lim =0
𝑛 𝑛 𝑛 𝑛 𝑛→∞ 𝑛→∞ 𝑛
Et l'estimateur est convergent.

Autres exercices d’applications


Déterminer des estimateurs par la méthode des moments et par la méthode du maximum de
vraisemblance pour les paramètres suivants :
a) le paramètre p de la loi de Bernoulli (p) avec un échantillon de taille n.
b) le paramètre p de la loi Binomiale (n ; p) avec un échantillon de taille n.
Calculer les estimateurs si l’échantillon observé est le suivant : (3; 6; 2; 0; 0; 3) avec un échantillon
de taille n = 10.
c) le paramètre 𝜆 de la loi de Poisson (𝜆) avec un échantillon de taille n.
d) les paramètres a et b de la loi Uniforme (a ; b) avec un échantillon de taille n.
e) le paramètre 𝜇 de la loi normale (𝜇 ; 𝜎 2 ) avec un échantillon de taille n et variance 𝜎 2 connue et
une moyenne 𝜇 inconnue.
f) le paramètre 𝜎 2 de la loi Normale (𝜇; 𝜎 2 ) avec un échantillon de taille n, avec une moyenne 𝜇
connue et une variance 𝜎 2 inconnue.
g) les paramètres (𝜇 ; 𝜎 2 ) de la loi normale (𝜇 ; 𝜎 2 ) avec un échantillon de taille n avec une moyenne
𝜇 inconnue et une variance 𝜎 2 inconnue.

Notes de cours L2 / FIP2 Dr Mahop Page 10 of 10

Vous aimerez peut-être aussi