Exercices Corriges Inférence Statistique
Exercices Corriges Inférence Statistique
Cours : Y. Bennani
Exercices corrigés d’inférence statistique
Exercice 1
Soit n ∈ N∗ et x1 , . . . , xn n observations issues de (X1 , . . . , Xn ), un n-échantillon de X suivant une loi de
Poisson P(λ) avec λ > 0 inconnu:
λk
Pλ (X = k) = e−λ , k ∈ N.
k!
1. Déterminer les fonctions de vraisemblance et de log-vraisemblance pour (x1 , . . . , xn ).
Solution:
1. La fonction de vraisemblance pour (x1 , . . . , xn ) est
∏
n n ( xi
∏ ) ∑n
xi
λ −λ −nλ λ i=1
Ln (x1 , . . . , xn ; λ) = Pλ (X = xi ) = e =e ∏n .
i=1 i=1
xi ! i=1 (xi !)
∑
n ∑
n
= −nλ + ln(λ) xi − ln(xi !).
i=1 i=1
ℓn (x1 , . . . , xn ; λ) est dérivable en λ avec λ > 0. Par conséquent, λ∗ est solution de l’équation de
∂
vraisemblance : ∂λ ℓn (x1 , . . . , xn ; λ) = 0. Alors
1 ∑ 1∑
n n
∂
ℓn (x1 , . . . , xn ; λ∗ ) = 0 ⇔ −n + xi = 0 ⇔ λ∗ = xi .
∂λ λ∗ i=1 n i=1
De plus, λ∗ est bien un maximum pour ℓn (x1 , . . . , xn ; λ) (et aussi pour Ln (x1 , . . . , xn ; λ)) car :
◦ si λ < λ∗ , alors ∂
∂λ ℓn (x1 , . . . , xn ; λ) > 0,
∗
◦ si λ > λ , alors ∂
∂λ ℓn (x1 , . . . , xn ; λ)
< 0.
∑n
Donc λ∗ = n1 i=1 xi est bien un emv de λ pour (x1 , . . . , xn ). L’emv λ̂n de λ associé est
1∑
n
λ̂n = Xi .
n i=1
1
3. La loi commune des var X1 , . . . , Xn et l’égalité E(X1 ) = λ entraînent
( n )
1∑ 1∑
n
1
E(λ̂n ) = E Xi = E(Xi ) = nE(X1 ) = λ.
n i=1 n i=1 n
Exercice 2
Les éléments d’une population possèdent un caractère X qui suit une loi de densité
√
θ
fθ (x) = √ e−θx /2
2
2π
où θ > 0. Pour étudier le paramètre θ, on a effectué une suite de n expériences indépendantes qui ont
donné les réalisations x1 , ..., xn de n v.a. X1 , ..., Xn i.i.d. de même loi que X.
2
4. Notons B (n) (θ) la borne de Cramer-Rao pour l’estimation de θ. Dans l’ensemble des estimateurs
non biaisés de θ, on définit l’efficacité relative de θ̂1 comme étant
B (n) (θ)
e(θ̂1 ) := .
Var[θ̂1 ]
Solution:
1. La vraisemblance s’écrit:
∏
n ( )n/2 ∑n
θ
Lθ (X) = fθ (Xi ) = e−θ/2 i=1 Xi2
.
i=1
2π
Cette fonction est C ∞ en θ, on peut donc chercher son maximum en utilisant les conditions du
premier et second ordre. Comme elle est partout positive, on passe au logarithme pour simplifier
les calculs: ( )
θ∑ 2
n
n θ
log Lθ (X) = log − X
2 2π 2 i=1 i
1∑ 2
n
n
∂θ log Lθ (X) = − X
2θ 2 i=1 i
n
∂θ log Lθ (X) = 0 ⇔ θ̂ = ∑n
i=1 Xi2
On vérifie aisément que θ̂ = ∑n n X 2 est un maximum et l’on conclut que θ̂ est l’estimateur du
i=1 i
maximum de vraisemblance pour θ.
2. On utilise ici le critère de factorisation de la vraisemblance
( )n/2 ∑n
θ
e−θ/2 i=1 Xi = h(X)gθ (θ̂),
2
Lθ (X) =
2π
( )
1 n/2 −θ
avec h(t) = 2π et gθ (x) = θe 2nx . La statistique θ̂ est donc exhaustive.
3. On ne veut pas intégrer directement θ̂ pour calculer son espérance, le changement∑n de variables
impliqué étant peu pratique. Il vaut mieux commencer par déterminer la loi de i=1 Xi2 , qui est
plus accessible. En effet, on remarque à la forme de la densité de fθ que les Xi suivent en fait une
loi normale "déguisée", si l’on pose µ = 0 et σ 2 = θ−1 . Ainsi,
( )
1
Xi ∼ N 0,
θ
de façon indépendante. Si l’on se souvient que la somme de normales centrées réduites indépendantes
est
√ distribuée selon une loi chi-deux, on est proche de l’objectif. Il suffit de considérer les variables
θXi qui sont centrées réduites, et il vient que
∑
n
Z=θ Xi2 ∼ χ2n
i=1
3
On va maintenant écrire l’espérance comme une intégrale et bricoler un peu à l’intérieur pour arriver
au résultat.
[ ] ∫ ∫
1 1 1 1
2 −1 e−z/2 dz = z 2 −1 e−z/2 dz.
n n−2
E = n/2
z n/2
Z R+ z 2 Γ(n/2) R+ 2 Γ(n/2)
L’idée est de faire apparaître sous l’intégrale la densité d’une loi chi-deux en ajustant le nombre
de degrés de libertés au fait que la puissance de z dans l’intégrande est diminuée de un. Il faut
donc mettre les bonnes constantes. Entre autres, faire sortir un deux au dénominateur, ainsi qu’un
facteur (n − 2)/2 grâce aux propriétés de la fonction Γ. L’intégrale restante est alors celle d’une
densité sur son domaine et vaut donc un. D’où
[ ]
1 1
E = .
Z n−2
On en déduit l’espérance de θ̂ [ ]
1 n
E[θ̂] = nθE = θ.
Z n−2
Le raisonnement et les calculs sont similaires pour la variance. Connaissant l’espérance de θ̂, il nous
reste pour obtenir la variance à calculer celle de son carré:
n2 θ 2
θ̂2 = .
Z2
On a alors, à l’aide des mêmes idées
n2 θ 2
E[θ̂2 ] =
(n − 2)(n − 4)
et
2n2 θ2
Var(θ̂) = · · · = .
(n − 2)2 (n − 4)
On note au passage que θ̂ est asymptotiquement sans biais et convergent. On en déduit un estima-
teur sans biais par une simple transformation linéaire:
n−2
θ̂1 = θ̂ ⇒ E[θ̂1 ] = θ.
n
On déduit aisément la variance du nouvel estimateur
2θ2
Var(θ̂1 ) =
n−4
2θ2 n − 4 n−4
e(θ̂1 ) = = .
n 2θ2 n
On remarque que e < 1, donc que θ̂1 n’est pas efficace, mais que e → 1 et donc que θ̂1 est
asymptotiquement efficace.
4
5. Le lemme de Fisher nous dit que dans un modèle i.i.d. gaussien, X et s2 sont indépendants, et que
ns2 /σ 2 ∼ χ2n−1 , où n est la taille de l’échantillon. Comme notre échantillon simple est gaussien, ce
résultat s’applique, et les rappels sur la loi chi-deux nous donnent
[ 2]
ns
E = E[ns2 θ] = (n − 1).
σ2
i.e.
E[s2 ] = (n − 1)/nθ.
Pour définir simplement un estimateur à partir de s2 , il faut considérer son inverse 1/s2 . Calculons
l’espérance de cette statistique, dans l’espoir qu’elle soit une fonction linéaire de θ.
[ ] [ ]
nθ 1 nθ
2
E[1/s ] = E = nθE =···= .
nθs2 nθs2 n−3
5
Exercice 3
Les éléments d’une population possèdent un caractère X qui suit une loi de densité
2
x2 e−x /θ
2
fθ (x) = √
πθ3/2
où θ > 0. Une suite de n expériences indépendantes a donné les valeurs x1 , ..., xn .
1. Déterminez un estimateur θ̂ du paramètre θ par la méthode du maximum de vraisemblance.
2. Examinez les qualités suivantes de θ̂ : efficacité, biais, convergence, exhaustivité.
Solution:
On écrit la vraisemblance du modèle grâce à l’hypothèse i.i.d. et on obtient :
∏
n
2
Xi2 e−Xi /θ
2
Lθ (X) = √ 3/2
i=1
πθ
2n ∏n ∑
2 − θ1 2
i Xi
= X i e
π n/2 θ3n/2 i=1
3n ∑ 1∑ 2
n
log Lθ (X) = C − log θ − 2 log Xi − X
2 i
θ i=1 i
1 ∑ 2
n
3n
∂θ log Lθ (X) = − + 2 X
2θ θ i=1 i
2 ∑ 2
n
∂θ log Lθ (X) = 0 ⇔ θ̂ = X .
3n i=1 i
Ainsi, d’après le critère de factorisation, θ̂ est efficace (donc sans biais) pour θ. Reste à juger de sa
convergence, en calculant sa variance. Pour ce faire, il nous manque l’espérance de son carré. On note
pour ce faire que les variables Yi = Xi2 ont pour densité
√ 1 1
gθ (y) = fθ ( y) √ = √ 3/2 y 1/2 e−y/θ y>0
2 y πθ
où l’on reconnaît une loi Gamma de paramètres a = 1/θ et b = 3/2. La somme de n variables indépen-
dantes de telle loi donne une variable Gamma de paramètres a = 1/θ et b = 3n/2. On connaît donc son
moment d’ordre deux
( )2
∑n
Γ(3n/2 + 2) 2
E Yi = θ = (3n/2 + 1)(3n/2)θ2 .
i=1
Γ(3n/2)
6
Exercice 4
En 1897, l’économiste suisse Vilfredo Pareto (1848-1923), professeur d’économie politique à l’université
de Lausanne, eut l’idée de modéliser la loi des revenus en postulant que le nombre relatif de personnes
dont le revenu dépasse une valeur x est inversément proportionnel à une puissance de x. La définition
suivante fut adoptée: une variable aléatoire X, absolument continue, suit une loi de Pareto de paramètres
α et θ si sa densité est donnée par
fα,θ (x) = kx−α I[x≥θ] ;
où θ > 0 et α > 1. Cet exercice vous propose d’étudier différentes caractéristiques de cette loi sur le plan
probabiliste et statistique.
1. Analyse probabiliste
a) Déterminez la constante de normalisation k.
A ce stade vous êtes tous capable de calculer une intégrale définie... Réponse: k = (α − 1)θα−1 .
b) Ecrivez la fonction de répartition FX de X.
Même remarque pour une primitive... Réponse:
X
Fα,θ (x) = (1 − (θ/x)α−1 )I[x≥θ] .
c) Calculez le moment non centré d’ordre s(s ∈ N0 ). Précisez ses conditions d’existence. Déduisez-en
E[X] et Var[X].
De manière générale,
∫ +∞ [ s−α+1 ]+∞
(α − 1)θα−1 x
s
E[X ] = dx = (α − 1)θ α−1
θ x α−s s−α+1 θ
La condition d’existence de l’intégrale est s − α + 1 < 0, c’est-à-dire s < α − 1. On a alors
(α − 1)θs
E[X s ] = .
α−1−s
Si α > 2, l’espérance existe et vaut donc
(α − 1)θ
E[X] =
α−2
Si α > 3 le moment d’ordre deux existe, et permet de calculer la variance
(α − 1)θ2 (α − 1)2 θ2 (α − 1)θ2
Var(X) = E[X 2 ] − (E[X])2 = − = .
α−3 (α − 2)2 (α − 3)(α − 2)2
d) Donnez la loi de la variable aléatoire U définie par U = (α − 1) ln(X/θ).
Sur le domaine de X, ce changement de variable est admissible et on utilise la formule habituelle
α−1
U = G(X) ⇒ G′ (X) = , X = G−1 (U )
X
avec G−1 (u) = θeu/(α−1) , X ≥ θ ⇔ U ≥ 0. et donc
1 (α − 1)θα−1 θeu/(α−1)
fU (u) = fX (G−1 (u)) = = e−u .
G′ (G−1 (u)) (θeu/(α−1) )α α − 1
Ainsi, en combinant cette expression avec le domaine de u, on reconnaît la densité d’une loi expo-
nentielle de paramètre 1 (ou Γ(1, 1)).
e) Soient n variables aléatoires indépendantes X1 , ..., Xn suivant toutes la même loi de Pareto de
paramètres α et θ. Déterminez la loi de Z = X(1) . Identifiez cette loi.
Pour déterminer la loi du minimum de n v.a. i.i.d., on considère sa fonction de répartition
∏n
P [Z ≤ z] = 1 − P [Z > z] = 1 − P [Xi > z] = 1 − (1 − F X (z))n ,
i=1
X
et on réinjecte l’expression obtenue pour F à la question (b)
F (z) = 1 − ((θ/z)α−1 )n = 1 − (θ/z)n(α−1) .
Z
qui est de la forme F (z) = 1 − (θ/z)a−1 avec a = n(α − 1) + 1. C’est donc une loi de Pareto de
paramètres n(α − 1) et θ.
7
2. Inférence sur α.
Supposons que θ est connu. Soient les variables aléatoires X1 , ..., Xn i.i.d. de loi de Pareto de paramètres
α et θ.
∑
n ∑ n ( )
n n Xi
∂α log L = + n log θ − log Xi = − log
α−1 i=1
α − 1 i=1 θ
∑ n ( )
n Xi
∂α log L = 0 ⇔ = log
α̂ − 1 i=1
θ
n
⇔ α̂ = 1 + ∑n ( Xi )
i=1 log θ
c) α̂ est-il sans biais pour α? Si non, construisez un estimateur sans biais α̂1 pour α et vérifiez s’il est
convergent et efficace.
Il faut calculer l’espérance de α̂. On utilise pour cela de résultat montré précédemment sur la loi
(α − 1) log(X/θ). En effet, en posant Yi = (α − 1) log(Xi /θ), on a
n(α − 1)
Yi ∼ Γ(1, 1) et α̂ = 1 + ∑n
i=1 Yi
(α − 1)n
α̂ = 1 + ⇒ E[α̂] = 1 + n(α − 1)E[W −1 ].
W
Les Yi étant indépendants, leur somme W suit une loi Γ(1, n). Ainsi, cette dernière espérance est
facile à calculer comme une intégrale, en faisant apparaître dans l’intégrande une densité Γ(1, n − 1)
et on trouve E[W −1 ] = (n − 1)−1 . Ainsi,
n(α − 1) nα − 1
E[α̂] = 1 + = .
n−1 n−1
L’estimateur maximum de vraisemblance est donc biaisé (mais asymptotiquement sans biais). Le
biais est cependant aisément corrigé car l’espérance de α̂ est une fonction linéaire de α. Ainsi,
(n − 1)α̂ + 1
α̂1 =
n
est sans biais pour α. Pour juger de sa convergence et de son efficacité, on calcule sa variance.
notons qu’avec les notations précédentes
(n − 1)(α − 1)
α̂1 = 1 +
W
8
et il nous faut l’espérance du carré de α̂1 , son espérance étant α. On trouve aisément que (en
développant le carré et en calculant E[W −1 ] et E[W −2 ]) que
(n − 1)2 (α − 1)2
E[α̂12 ] = · · · = 2α − 1 +
(n − 1)(n − 2)
3. Inférence sur θ.
Supposons que α est connu. Soient les variables aléatoires X1 , ..., Xn i.i.d. de loi de Pareto de paramètres
α et θ.
θ̂ = X(1)
c) θ̂ est-il convergent?
Pour juger des caractéristiques d’optimalité de cet estimateur, on doit connaître son espérance et
sa variance, mais les résultats obtenus dans la première partie de l’exercice nous garantissent que
la loi de θ̂ est une loi de Pareto de paramètres θ et n(α − 1). Ainsi,
pour peu que ces quantités existent, ce qui est vrai pour n suffisamment grand. Cet estimateur est
ainsi biaisé, mais asymptotiquement sans biais, et convergent.
9
Exercice 5
Les éléments d’une population possèdent un caractère X qui suit une loi de probabilité dont la densité
est {
θe−θ(x−a) si x ≥ a
fa,θ (x) =
0 sinon
où θ, a > 0. Une suite de n expériences indépendantes a donné les valeurs x1 , ..., xn .
1. Inférence sur a.
Supposons que θ est connu.
a) Proposez un estimateur â de a par la méthode du maximum de vraisemblance.
La vraisemblance est donnée par
∑
La,θ (X) = θn e−θ i e I[a,+∞[ (X(1) ).
Xi na
â = X(1)
2. Inférence sur θ.
Supposons que a est connu.
n ∑
n
∂θ log L = − (Xi − a).
θ i=1
Ainsi (et car la dérivée seconde est partout négative), l’estimateur maximum de vraisemblance est
n
θ̂ = ∑n
i=1 (Xi − a)
10
∑n
b) Cherchez la densité de probabilité de la variable Y = θ i=1 (Xi − a), où les Xi sont i.i.d. de même
loi que X.
On commence par la loi de Yi = θ(Xi − a), dont la densité est de façon immédiate
Ainsi, les Yi sont de loi Γ(1, 1). Y étant la somme des Yi par indépendance, sa loi est Γ(1, n).
c) θ̂ est-il non biaisé? Si non, construisez un estimateur non biaisé θ̂1 de θ et vérifiez s’il est convergent,
efficace et exhaustif.
On calcule l’espérance de θ̂ en se servant du résultat précédent (déjà vu plus haut)
nθ
E[θ̂] = nθE[Y −1 ] =
n−1
et l’on en déduit l’estimateur maximum de vraisemblance est biaisé mais asymptotiquement sans
biais. On peut alors définir
(n − 1)θ̂
θ̂1 =
n
qui sera sans biais. On calcule l’espérance de son carré et on trouve
(n − 1)θ2
E[θ̂12 ] = .
n−2
d’où la variance
(n − 1)θ2 θ2
Var(θ̂1 ) = − θ2 =
n−2 n−2
ainsi θ̂1 est convergent. La borne de CR est θ2 /n ce qui implique que l’estimateur θ̂1 n’est pas
efficace.
11