Université de Pau et des Pays de l’Adour Semestre printemps 2023–2024

L3 Math Introduction à la Statistique

Feuille TD 2 : Théorie de l’estimation et information de Fisher

Exercice 2.1
Soient θ > −1 et X une variable aléatoire de densité :

(θ + 1)(θ + 2)(1 − x)xθ si x ∈ [0, 1]
f (x) =
0 sinon.
Soit X1 , · · · , Xn un échantillon i.i.d. de la loi X. Ici, θ est un paramètre inconnu que l’on souhaite
estimer à l’aide de (X1 , · · · , Xn ).
1. Écrire le modèle statistique de l’énoncé.
2. Vérifier que f est une densité de probabilité.
3. Déterminer deux estimateurs de θ par la méthode des moments.

Exercice 2.2
Prenons le modèle ((R+ )n , (P⊗n
θ=(a,b,c) )a,b,c>0 ) tel que si X ∼ Pθ , on a

a2
E[X] = b, Var(X) = 2a2 b et E[X 3 ] = 3 c.
b
Déterminer un estimateur de θ∗ par la méthode des moments.

Exercice 2.3 Optimisation du risque

Soit X1 , . . . , Xn n variables aléatoires i.i.d. de loi de Uniforme sur [0, θ] avec θ ∈ R+ inconnu. On
considère les estimateurs

θ̂m = 2X̄n et θ̂M V = max (X1 , . . . , Xn )

1. Écrire le modèle statistique de cet exercice.
2. Expliquer la logique de construction de ces estimateurs.
3. Discuter du biais de θ̂M V .
4. Calculer le biais, la variance et le risque quadratique de θ̂m .
5. Calculer la fonction de répartition θ̂M V et montrer que la densité de θ̂M V est donnée par

xn−1
fθ̂M V (x) = n 1]0,θ[ (x)
θn
6. Déduire de la question précédente l’espérance, la variance de θ̂M V et le risque quadratique de
θ̂M V .
7. Donner une constante c dépendant de n telle que θ̃ = cθ̂M V soit sans biais.
8. Calculer la variance et le risque quadratique de θ̃.
9. Comparer les risques quadratiques des estimateurs θ̂m , θ̂M V et θ̃.
10. Plus généralement, on considère un estimateur θ̄ de la forme αθ̂M V avec α ∈ R.
10. 1. Calculer le risque quadratique de θ̄.
10. 2. Calculer la valeur de α qui minimise ce risque quadratique.
10. 3. Conclure.
Exercice 2.4 Quelques calculs sur le modèle gaussien
Soit X1 , . . . , Xn n variables i.i.d. de loi normale N (µ, σ 2 ). Les 4 premiers moments de cette loi
sont donnés par

E[X] = µ, E[X 2 ] = σ 2 + µ2 , E[X 3 ] = 3µσ 2 + µ3 , E[X 4 ] = 3σ 4 + 6σ 2 µ2 + µ4 .

1. On suppose ice que σ 2 est connu.

1. 1. Calculer l’estimateur du maximum de vraisemblance de µ.
1. 2. Calculer l’information de Fisher du n échantillon et conclure.
2. On suppose maintenant qye µ est connu.
2. 1. Calculer l’EMV de σ 2 .
2. 2. Calculer l’information de Fisher et conclure.

Exercice 2.5 Estimation de la hauteur d’une crue

La hauteur maximale en mètre de la crue annuelle d’un fleuve est une variable aléatoire X de
densité, pour x ⩾ 0 :
x x2
f (x) = e− 2a
a
où a > 0 est un réel inconnu. Soit n ∈ N∗ et X1 , · · · , Xn un échantillon i.i.d. de même loi X.
1. Déterminer l’estimateur du maximum de vraisemblance âM V de a.
2. Application : une crue supérieure à 6 mètres serait catastrophique. Pendant 8 ans, on a
observé les hauteurs de crue du fleuve en mètres. Les résultats sont :

2.5 2.9 1.8 0.9 1.7 2.1 2.2 2.8

Donner une estimation de a et une estimation de la probabilité d’avoir une catastrophe une année
donnée.

Exercice 2.6 Robustesse d’un estimateur

Soit T une statistique définie en tant que fonctionnelle. Une fonctionnelle est une application qui
prend comme argument une distribution de probabilité et donne en image une valeur numérique
ou vectorielle. Pour une mesure F , on définit la fonction d’influence de T en F évalué en x par

T ((1 − ε)F + εδx ) − T (F )

FI(T, F, x) = lim .
ε→0 ε
Un estimateur sera dit robuste si cette quantité est bornée en x ∈ R.
1. Montrer que la moyenne empirique et la médiane empirique sont des statistiques pouvant être
écrites à l’aide d’une fonctionnelle.
2. Soit Tmoy la fonctionnelle associée à la moyenne empirique, montrer que

FI(Tmoy , F, x) = x − T (Fmoy ).

En déduire que la moyenne empirique n’est pas robuste.

3. Pour étudier la fonction d’influence de Tmed , on se restreint aux mesures de probabilités ayant
une densité par rapport à la mesure de Lebesgue. On notera f la densité de la mesure F . On
supposera que f (x) > 0 pour tout x ∈ R. Dans la suite, on fera coïncider la mesure F avec sa
fonction de répartition.
 3. 1. Rappeler les propriétés de la fonction de répartition d’une telle mesure. En déduire
que Tmed (F ) = F −1 (1/2) pour ces mesures.
3. 2. Vérifier que pour x = Tmed (F ), on a FI(Tmed , F, x) = 0.
3. 3. Montrer que pour x > Tmed (F ),
 
F −1 2(1−ε)
1
− F −1 (1/2) 1
FI(Tmed , F, x) = lim = .
ε→0 ε 2f (Tmed (F ))

3. 4. Montrer un résultat analogue pour x < Tmed (F ). En déduire que la médiane est un
estimateur robuste.

Exercice 2.7 Le problème du char d’assaut allemand

Le problème du char d’assaut allemand est nommé d’après son application par les Alliés à l’es-
timation du nombre de chars d’assaut produits par l’Allemagne. On suppose que ces chars sont
numérotés de la manière suivante : s + 1, s + 2, . . . , s + N . Pour simplifier le problème, on suppose
que le paramètre s est connu et vaut 0. Il faut ainsi estimer que le paramètre inconnu N . Pour
faire ceci, les Alliés possèdent n observations (différentes) X1 , . . . , Xn des numéros de série de
ces chars. Cela revient à tirer aléatoirement n nombres entre 1 et N sans remise. On range de
manière croissante cet échantillon pour obtenir

X(1) < X(2) < . . . < X(n) .

Pour k ∈ 1, . . . , n, on peut montrer que X(k) suit une loi hypergéométrique négative. On admettra
l’espérance, la variance et la covariance de ces variables

k(N +1)

E[X(k) ] = n+1

+1)(N −n)
Var(X(k) ) = k(n+1−k)(N
(n+1)2 (n+2)
+1)(N −n)
Cov(X(k) , X(l) ) = k(n+1−l)(N

pour k ⩽ l

(n+1)2 (n+2)

1. Donner le modèle de ce problème.

2. Après avoir donnée une interprétation de l’estimateur, déterminer l’espérance et la variance
des trois estimateurs suivants
2. 1. N̂1 =2(médiane de l’échantillon)−1
2. 2. N̂2 − X(n) = X(1) − 1
2. 3. N̂3 − X(n) = n1 [(X(1) − 1) + (X(2) − X(1) − 1) + . . . + (X(n) − X(n−1) − 1)].
En déduire le meilleur estimateur.
Cette méthode mathématique a vraiment été utilisée pendant la guerre et a été plus performante
que les services de renseignements !
Exercice 2.8 Estimation bayésienne
Le cadre bayésien consiste à munir l’espace des paramètres Θ d’une mesure de probabilité Π,
appelée loi a priori. Ainsi le paramètre est une variable aléatoire θ, de loi Π. Le cadre s’écrit de
la manière suivante
θ ∼ Π et X1 , . . . , Xn ∼ P⊗n
θ .

L’idée est d’adapter cette loi a priori à l’aide de nos observations x1 , . . . , xn avec la formule de
Bayes. Nous allons comparer l’approche bayésienne et inférentielle dans le cas simple de la pièce
équilibrée ou pas. Dans cette exemple, l’ensemble Θ = [0, 1] est muni d’une loi Π et

X1 , . . . , Xn ∼ B(θ)⊗n .

1. Donner l’EMV dans le cas inférentiel.

2. Dans cette question, nous allons calculer un exemple d’estimateur dans le cas bayésien
2. 1. Supposons que nous ayons plutôt confiance au fait que la pièce soit équilibrée, nous
allons donc définir comme loi a priori,

pθ (θ) = cθ(1 − θ)1{θ∈[0,1]} , avec c>0.

Déterminer c et dessiner cette densité. Est-ce une bonne modélisation de notre a priori ?
2. 2. À l’aide de la formule de Bayes, montrer que

θ(1 − θ) nk=1 θxk (1 − θ)1−xk

Q
pθ|x1 ,...,xn (θ) = Z 1 , pour θ ∈ [0, 1].
nxn +1 n−nxn +1
t (1 − t) dt
0

2. 3. Déterminer argmax pθ|x1 ,...,xn (θ). Donner une interprétation de cet estimateur et com-
parer le à l’EMV.
3. Montrer que loi a priori uniforme sur [0, 1] revient à faire de l’estimation classique. Est-ce
surprenant ?

Exercice 2.9
Soit X1 , . . . , Xn n variables aléatoires réelles indépendantes qui suivent une loi géométrique de
paramètre p ∈]0, 1[. On rappelle que la loi géométrique de paramètre p est à support dans N∗ et
vérifie

P (X1 = x) = (1 − p)x−1 p, x ∈ N⋆
On a de plus

1 1−p
E [X1 ] = et Var [X1 ] =
p p2
On cherche à estimer le paramètre λ = 1/p.
1. Écrire le modèle statistique de cet exercice.
2. Exprimer la vraisemblance du modèle en fonction de λ et en déduire l’estimateur du maximum
de vraisemblance λ̂. Que retrouve-t-on ?
3. Calculer la borne de Cramer-Rao du modèle considéré.
4. L’estimateur λ̂ est-il efficace ?
Exercice 2.10 Retour sur le modèle du TD 1
Soit ([−1/2, 1/2]n , P⊗n
θ ) un modèle statistique tel que, pour tout θ ∈] − 1, 1[, Pθ désigne la loi de
densité
fθ (x) = (1 − θ)1[−1/2,0[ (x) + (1 + θ)1[0,1/2] (x).
n
X
On note (X1 , · · · , Xn ) un échantillon i.i.d. de loi Pθ et s(x1 , · · · , xn ) = 1[0,1/2] (xi ).
i=1
1. Calculer la loi de s(X1 , · · · , Xn ).
2. Déterminer la quantité d’information de Fisher du modèle.
3. Calculer l’estimateur θ̂M V de θ par la méthode du maximum de vraisemblance.
4. θ̂M V est-il sans biais ?
5. Vérifier que θ̂M V est un estimateur consistant.