Université de Pau et des Pays de l’Adour Semestre printemps 2023–2024

L3 Math Introduction à la Statistique

CC 1 - Estimation statistique Correction

Question de cours (3pts)

Soit (Hn , (Qθ )θ∈Θ ) un modèle statistique. On note θ̂n un estimateur du véritable paramètre
inconnu θ∗ .
1. (1pt) Qu’est-ce qu’un estimateur sans biais ?
Ne pas oublier le ∀θ ∈ Θ dans la définition !
2. (2pts) Pour le modèle ({0, 1}n , (B(p)⊗n )p∈(0,1) ), montrez que l’estimateur suivant est sans biais
n
1X
X̄n = Xi .
n i=1

Par linéarité.

Exercice 1 Méthode des moments (3pts)

Soit (Rn+ , (P⊗n
a∈R,b∈R,c>0 )) un modèle statistique vérifiant pour X ∼ Pa,b,c

E[X] = a + b − c2 ; Var(X) = a − b + c2 ; E[X 4 ] = c2 .

Déterminer un estimateur de (a∗ , b∗ , c∗ ) à l’aide de la méthode des moments.

Il fallait résoudre le système

2
X̄n = âM M + b̂M M − ĉM M

Sn2 = âM M − b̂M M + ĉ2M M

U4 (n) = ĉ2M M


Exercice 2 Estimation du paramètre de la loi de Weibull (15pts)

Soit X une variable aléatoire réelle suivant la loi de Weibull de densité : pour tout x > 0
√
x
e− β
fβ (x) = √
2β x

où β est un paramètre strictement positif inconnu.

Partie 1 : Estimation classique du paramètre
1. (1pt) Écrire le modèle statistique dans le cas où les observations sont indépendantes.
On travaille dans la suite sur le modèle ((R∗+ )n , (P⊗n
β )β>0 ) avec Pβ pour β > 0 donné par l’énoncé.
2. (2pts) Montrer que pour β > 0, on a

Eβ [X] = 2β 2 .

En déduire un estimateur β̂M M par la méthode des moments.

Soit β > 0, on a
Z +∞ Z +∞ √
x −√x/β
Eβ [X] = xfβ (x) dx = e dx
0 0 2β
Z +∞  √ 2
1 x √ √
=β 2
√ e− x/β dx et donc avec un changement de variable avec u = x/β,
0 2 xβ β
Z +∞
= β2 u2 e−u du.
0

Il reste à effectuer deux IPP. Bien vérifier l’existence de chaque termes lorsqu’on effectue une
IPP avec une intégrale généralisée ! Maintenant pour trouver l’estimateur des moments, il suffit
de résoudre
2
X̄n = 2β̂M M.

3. (1.5pt) Soit x1 , . . . , xn ∈ R∗+ , déterminer la vraisemblance du modèle et montrer que pour tout
β ∈ R+ ∗ :
n
∂ log Ln n 1 X√
(x1 , . . . , xn ; β) = − + 2 xi .
∂β β β i=1
On rappelle qu’on utilise la notation log pour le logarithme népérien.
Pour β > 0 et x1 , . . . , xn ∈ R∗+ , on a
n n √
Y 1 Y e− xi /β
Ln (x1 , . . . , xn ; β) = fβ (xi ) = n √ .
i=1
β i=1 2 xi

Et donc la log-vraisemblance vaut

n Pn √
X √ i=1 xi
log Ln (x1 , . . . , xn ; β) = −n log β − log(2 xi ) − .
i=1
β

D’où en dérivant par rapport à β,

n
∂ log Ln n 1 X√
(x1 , . . . , xn ; β) = − + 2 xi .
∂β β β i=1

4. (1.5pts) Montrer que l’estimateur du maximum de vraisemblance du modèle est

n
1 Xp
β̂M V = Xi .
n i=1

On justifiera bien le fait qu’il s’agit d’un maximum.

Pour x1 , x . . . , xn ∈ R∗+ , on peut vérifier par croissance comparée que

lim log Ln (x1 , . . . , xn ; β) = lim log Ln (x1 , . . . , xn ; β) = −∞,

β→0 β→+∞

donc la fonction possède un maximum global. Comme la log-vraisemblance possède un unique

point critique, ce point critique est forcément le maximum global.
5. (3pts) Déterminer le biais de l’EMV, puis sans calculer explicitement le biais, montrer que
l’estimateur β̂M M est biaisé.
Par un calcul similaire à la question 2, on peut montrer que β̂M V est sans biais. Pour l’estima-
√
teur des moments, comme u 7→ u est strictement concave (donc son opposée est strictement
convexe), on a par l’inégalité de Jensen,
"r # q
X̄n
q
Eβ [β̂M M ] = Eβ < Eβ [X̄n ]/2 = Eβ [X]/2 = β.
2

6. (1pt) Montrer que les estimateurs β̂M M et β̂M V sont fortement consistants.
√
Comme nos observations (Xi )i et ( Xi )i sont i.i.d. et possèdent un moment d’ordre 1, on peut
appliquer la LGN, pour β > 0, Pβ -p.s.
n
2 1 Xp p
X̄n → Eβ [X1 ] = 2β et β̂M V = Xi → Eβ [ X1 ] = β.
n i=1
p
Donc l’EMV est fortement consistant et comme β̂M M = X̄n /2, on obtient aussi sa forte consis-
tance par la continuité des opérations.
7. (1pt) Déterminer le risque de l’EMV.
Comme l’EMV est sans biais, on a d’après la décomposition biais-variance, pour β > 0,
n
! n
1 Xp 1 X p
R(β; β̂M V ) = Varβ (β̂M V ) = Varβ Xi = 2 Varβ ( Xi ),
n i=1 n i=1

par l’indépendance. Et comme nos variables sont identiquement distribuées, il suffit de calculer
√
la variance de X1 ,
p p
Varβ ( X1 ) = Eβ [X1 ] − Eβ [ X1 ]2 = 2β 2 − β 2 = β 2 .

Chaque espérance avait déjà été calculée, d’où

β2
R(β; β̂M V ) = .
n

Partie 2 : Estimation à l’aide des statistiques d’ordre

8. (1.5pts) Déterminer la fonction de répartition FX de la variable X. En déduire que

FX−1 (0.5) = (β log 2)2 .

Interpréter le terme FX−1 (0.5).

Soit β > 0, pour t ⩽ 0, on a FX (t) = 0 car notre variable est à valeurs dans R∗+ , et pour t > 0,
Z t √
FX (t) = fβ (x) dx = 1 − e− t/β
.
0
√
En résolvant 12 = 1 − e− t/β , on retrouve la valeur de l’énoncé. Il s’agit de la médiane de notre
variable. X a autant de chance d’être au dessus de cette valeur que en dessous.
9. (1.5pts) On range de manière croissante notre échantillon, et notons

X(1) ⩽ X(2) ⩽ . . . ⩽ X(n) ,

le nouveau réarrangement. Montrer que presque sûrement, ces inégalités sont strictes.
Pour β > 0, on a

Qβ (une de ces inégalités est une égalité) = Qβ (∃i ̸= j, X(i) = X(j) )

= Qβ (∃i ̸= j, Xi = Xj )
X XZ
⩽ Qβ (Xi = Xj ) = fβ (x)fβ (y) dxdy = 0,
i̸=j i̸=j {x=y}

par l’indépendance entre Xi et Xj et le fait que {x = y} est de mesure nulle pour la mesure de
Lebesgue (il s’agit d’une droite dans le plan). On pourrait aussi dire que Xi − Xj est à densité
car Xi et Xj sont à densité et indépendantes. C’est assez important de revenir à Xi et non
garder X(i) car la loi du réarrangement est un peu compliquée.
10. (1pt) À l’aide du réarrangement, déterminer un nouvel estimateur de β.
On peut estimer la vraie médiane par la médiane de notre échantillon, et comme la médiane vaut
(β log 2)2 , on peut proposer comme estimateur de β,
p
X(⌊n/2⌋)
β̂med = .
log 2

Rappel du cours de probabilité : On pourra utiliser sans preuve les résultats suivants :
1. Si X ∼ B(p) pour p ∈ [0, 1] alors E[X] = p et Var(X) = p(1 − p).
2. La Loi des Grands Nombres : Soit X une variable aléatoire possèdant un moment
d’ordre 1 et soit (Xn )n∈N une suite i.i.d. de variables aléatoires de même loi X, on a
n
1X p.s.
Xi −→ E[X].
n i=1

3. Le Théorème Central Limite : Si de plus, X possède un moment d’ordre 2 alors

√ X̄n − E[X] loi

np −→ Z ∼ N (0, 1).
Var(X)

4. Inégalité de Jensen : Soit X une variable aléatoire non constante ayant un moment
d’ordre 1, pour φ une fonction strictement convexe, si φ(X) possède un moment d’ordre 1
alors
φ(E[X]) < E[φ(X)].