Devoir maison - Inférence statistique et Apprentissage automatique 16/02/06
A rendre pour le mercredi 1er mars 2006
1 Estimateurs (inspirés de [1])
1.1 Estimateur de variance minimum correction vue en TD
Soit X1 , . . . , Xn un échantillon i.i.d d’une loi de moyenne µ et de variance σ 2 .
Pn
1. Donner la condition sur les constantes réelles a1 , . . . , an pour que i=1 ai Xi soit un esti-
mateur sans Pbiais de µ.
n
Réponse : i=1 ai = 1.
2. Parmi les estimateurs sans biais de cette forme déterminer celui qui est de variance minimum.
Calculer sa variance.
Réponse : a1 = . . . = an = n1 .
1.2 Estimateurs sans biais
Sachant que X se distribue selon une loi normale de variance σ 2 et connaissant les variances
et les tailles de trois échantillons, à savoir, s21 = 8, s22 = 10, s23 = 14, et n1 = 10, n2 = 7 et n3 = 5
1. montrer que, dans le cas de k échantillons, l’estimateur
n1 s21 + . . . + nk s2k
T =
n1 + . . . + nk
est un estimateur sans biais de σ 2 ;
Réponse. Il s’agit ici des variances empiriques, réalisations des variables aléatoires S1 , . . . , Sk ,
avec :
np
1 X p
Sp2 = (X − X̄p )2
np − 1 p=1 i
où Xip est la i-ème variable aléatoire (de même loi que X) du p-ième échantillon et X̄p la
moyenne des v.a. de ce même échantillon. Remarque 1 : par souci d’homogénéité avec le
cours, on aurait dû utiliser des lettres majuscules pour désigner les variables aléatoires et des
minuscules pour leurs réalisations. Remarque 2 : lorsqu’on parle d’échantillon reposant sur
l’utilisation d’une variable aléatoire, cela veut dire que l’on considère un ensemble de v.a.
qui suivent toutes la même loi que X et qui sont indépendantes (i.e., si n est la taille de
l’échantillon, cela veut dire que l’on considère un ensemble n variables aléatoires i.i.d selon
la loi de X).
Comme on l’a vu en TD, on a : E(Sp ) = σ 2 , d’où le résultat immédiat :
E(T ) = σ 2 .
2. déterminer une estimation sans biais de σ 2 en utilisant n1 , n2 et n3 ;
Réponse. On demande une estimation, c’est-à-dire une réalisation de l’estimateur T défini
sur les 3 échantillons :
10 · s21 + 7 · s22 + 5 · s23
t= = 10
10 + 7 + 5
3. montrer que
1 2
(2s + 2s22 + s23 )
5 1
est aussi une estimation sans biais de σ 2 ;
Réponse : trivial, linéarité de l’espérance.
4. quel est le meilleur estimateur de celui utilisé en 2 et celui utilisé en 3 ?
n −1
Réponse. Si σ 2 est la variance de X alors pour chaque p, pσ2 Sp2 est une variable aléatoire
p
dont la loi est celle du χ2 à np − 1 degrés de liberté. En utilisant le fait que V(X1 +
X2 ) = V(X1 ) + V(X2 ) lorsque X1 et X2 sont indépendantes (vérifiez-le !) et le fait que
V(aX) = a2 V(X), on a le résultat désiré.
L. Ralaivola M1 info 1
Devoir maison - Inférence statistique et Apprentissage automatique 16/02/06
1.3 Estimateur sans biais, loi uniforme
Une v.a. aléatoire X suit une loi uniforme sur [0; θ] a une densité de probabilité :
1
f (x) = .
θ
Montrer que 2X̄ est un estimateur
Pn sans biais de θ.
Réponse. Soit n>0. X̄ = n1 i=1 Xi où tous les Xi sont i.i.d selon la loi uniforme sur [0; θ].
E(2X̄) = 2E(X)
Z θ
=2 xf (x)dx
0
Z θ
x
=2
0 θ
2 θ
x
=2
2θ 0
= θ,
d’où le résultat.
2 Estimateurs du maximum de vraisemblance (cf. [1])
2.1 Loi de Poisson
Déterminer l’estimateur de maximum de vraisemblance de m pour une loi de Poisson de para-
mètre m fondé sur n observations. Quel est le biais de cet estimateur ?
Réponse. Rappel sur la loi de Poisson :
mk
P (K = k) = e−m .
k!
Quelques calculs nous donnent :
sumni=1
mM V = .
n
C’est un estimateur sans biais.
2.2 Lois exponentielles
Cet exercice s’intéresse aux estimateurs de vraisemblance de quelques lois exponentielles.
1. Soit la densité de probabilité
pθ (x) = (1 + θ)xθ , θ > −1, 0 < x < 1.
(a) Montrer que pθ définit bien une densité de probabilité.
Réponse. Il suffit de montrer que pθ est positive et que sont intégrale sur le domaine
de définition est de 1.
(b) Donner l’estimateur de maximum de vraisemblance de θ à l’aide d’un échantillon de
taille n.
Réponse. On calcule la log-vraisemblance (on se rappelle que puisque log est une fonc-
tion strictement croissante, le maximum de la log-vraisemblance correspond à celui de
la vraisemblance) :
log L(x1 , . . . , xn ; θ) = log (1 + θ)n (x1 · · · xn )θ
X n
= n log(1 + θ) + θ log xi ,
i=1
L. Ralaivola M1 info 2
Devoir maison - Inférence statistique et Apprentissage automatique 16/02/06
Une condition nécessaire pour l’atteinte d’un maximum est l’annulation de la dérivée
de la log-vraisemblance par rapport à θ :
n
d log L(x1 , . . . , xn ; θ) n X
=0⇒ + log xi = 0
dθ 1 + θ i=1
n
⇔ θM V = −1 − Pn
i=1 log xi
On vérifie aisément que θM V > −1 et que la dérivée seconde de la log-vraisemblance
en thetaM V est bien négative (θM V correspond bien à un maximum).
2. Soit la densité de probabilité
pθ (x) = θe−xθ , x > 0.
(a) Montrer que pθ définit bien une densité de probabilité.
Réponse : idem que précédemment.
(b) Donner l’estimateur de maximum de vraisemblance de θ à l’aide d’un échantillon de
taille n.
Réponse. En procédant de manière similaire à ce qui a été fait précédemment, on a :
n
θM V = Pn
i=1 xi
(c) Soit X ∼ pθ . Donner un estimateur de E[X].
Réponse. Un rapide calcul nous donne que
1
E[X] =
θ
.
Afin de définir un estimateur de maximum de vraisemblance de E[X], il suffit de voir que
g : x 7→ x1 est bijective sur ]0; +∞[ et que, par conséquent, g(θM V ) est un estimateur
de maximum de vraisemblance de g(θ). En somme, on peut déduire un estimateur de
maximum de vraisemblance de θ1 et donc de E[X], par
Pn
MV xi
E[X] = i=1 .
n
3 Intervalles de confiance (cf. [2])
3.1 Cours corrigé en TD
Soit X ∼ B(n, π). Dans cet exercice, nous nous intéressons à la démonstration du résultat de
cours donnant un intervalle de confiance de niveau 1 − α pour π de la forme
q 2
x u21−α/2 u1−α/2 u1−α/2 x x
n + 2n ± + n 1− n
√
n 4n
IC1−α = u21−α/2
(1)
1+ n
où u1−α/2 est le quantile de niveau 1 − α/2 de la loi normale centrée réduite.
1. Quand peut-on considérer que la loi de X peut être approchée par une loi normale ? Quels
sont les paramètres de cette loi normale ? En supposant l’approximation normale valide,
donner une statistique pivotale T pv permettant de former un intervalle de confiance de
niveau 1 − α pour π.
2. Suivant le cours, l’intervalle de confiance de niveau 1 − α pour π s’obtient à partir de
la statistique pivotale T pv et de la propriété que P (tα/2 < T pv < t1−α/2 ) = 1 − α, ta
désignant le quantile de niveau a de la loi de T pv . Préciser pourquoi tα/2 = −u1−α/2 et
t1−α/2 = u1−α/2 .
3. Déduire des questions précédentes l’expression (1) de IC1−α en précisant chaque étape du
calcul.
L. Ralaivola M1 info 3
Devoir maison - Inférence statistique et Apprentissage automatique 16/02/06
3.2 Temps de réaction
La mesure du temps de réaction, supposé suivre une loi normale, de plusieurs sujets sur une
expérience donnée fournit un écart-type de 0.05s. Quelle doit être la taille de l’échantillon de
mesures pour que l’erreur de l’estimation du temps de réaction n’excède pas 0.01s à 95% ? à
99% ? Réponse. Ici, on ne précise pas que 0.05 est l’écart-type réel. On suppose donc que c’est
l’écart-type empirique, que l’on note s. De fait, afin de déterminer un intervalle de confiance dans
cette situation, on utilisera les quantiles de la loi de Student.
Pour α donné, on voudrait être sûr avec une probabilité 1 − α de ne pas faire une erreur de
plus de 0.01s sur l’estimation du temps de réaction des sujets. Pour cela, il suffit de déterminer
un intervalle IC1−α de confiance 1 − α faisant une longueur |IC1−α | de 0.01 au maximum. Donc,
puisque :
s s
IC1−α = [x̄ − tn−1,1−α/2 √ ; x̄ + tn−1,1−α/2 √ ],
n n
on a
s s
|IC1−α | = x̄ + tn−1,1−α/2 √ − x̄ + tn−1,1−α/2 √
n n
s
= 2tn−1,1−α/2 √ ,
n
et on cherche n tel que
s
2tn−1,1−α/2 √ ≤ 0.01
n
Il suffit alors de chercher dans la table de Student le quantile (et le n) qui convient.
Pour α = 0.05 et α = 0.01, on se rend compte en cherchant dans la table de Studentles
quantiles d’intérêt, on se rend compte que le nombre d’observations doit être au moins de ... On
peut ainsi se reporter à la table de la loi normale centrée réduite pour chercher les quantiles qui
nous intéressent. Cela nous donne les 2 résultats suivants :
– pour α = 0.05 : n ≥ 1.96·0.05
0.005 , soit n ≥ 385 ;
2.58·0.05 2
– pour α = 0.01 : n ≥ 0.005 , soit n ≥ 666.
Si on utilise la demi-erreur (comme la plupart l’ont fait, ce qui n’est inexact), on a n = 97 et
n = 167.
3.3 Loi de Student
Soit T un v.a de Student à ν degrés de liberté. Quelle sont les valeurs critiques de t pour
lesquelles P (T > t) = 0.05 pour ν = 16, ν = 27, ν = 200 ? Réponse. ν est bien évidemment le
nombre de degrés de liberté.
– ν = 16 : t = 1.75 ;
– ν = 27 : t = 1.70 ;
– ν = 200 : t = 1.65 ;
3.4 Sphères
On procède à 10 mesures du diamètre d’une sphère. On trouve une moyenne de 4.38cm et un
écart-type de 0.06cm. Donner des intervalles de confiance à 95% et à 99% pour le diamètre de la
sphère. Réponse. Facile, il suffit d’utiliser les quantiles de la loi de Student, avec :
s s
ICi−α = [x̄ − t1−α/2 √ ; x̄ + t1−α/2 √ ]
n n
3.5 Roues
Les mesures des diamètres de n roues dentées issues d’un échantillon aléatoire, fabriquées
pendant une journéee par une centaine de machines, donnent un diamètre moyen de 0.824cm pour
un écart-type empirique de 0.042cm.
L. Ralaivola M1 info 4
Devoir maison - Inférence statistique et Apprentissage automatique 16/02/06
1. si n = 2000, déterminer les intervalles de confiance à 95% et à 99% du diamètre moyen des
roues ;
2. faire ce calcul de deux manières différentes lorsque n = 201 ;
3. faire la même chose lorsque n = 20.
Idem que précédemment. Lorsqu’on parle de deux manière différentes, on signifie que l’on utilise
d’une part les quantiles lus dans la table de Student et d’autre part ceux dans la table de la loi
normale centrée réduite.
3.6 Poids d’un groupe de sprinteurs
On a pesé 10 athlètes courant le 100m capables de couvrir cette distance en moins de 10
secondes. Nous avons les poids suivant :
75.9, 75.0, 75.5, 75.6, 76.1, 76.5, 77.0, 75.2, 76.0, 76.7
En admettant que ces résultats sont issus d’une population infinie distribuée selon une loi normale
de moyenne µ et de variance σ 2 .
1. Construire un intervalle de confiance à 95% pour µ si σ 2 est supposé connu et σ 2 = 0.25.
2. Construire un intervalle de confiance à 95% pour µ lorsque σ 2 est inconnu.
3. Construire un intervalle de confiance à 95% pour σ.
Utilisation directe des formules du cours. Seule nouveauté par rapport aux autres exercices :
intervalle de confiance pour un écart-type.
" #
2 (n − 1)s2 (n − 1)s2
IC1α (σ ) = ; ,
χ2n−1,1−α/2 χ2n−1,α/2
et donc "s s #
(n − 1)s2 (n − 1)s2
IC1α (σ) = ; .
χ2n−1,1−α/2 χ2n−1,α/2
Dans le cas présent on a donc
"r r #
9 · 0.42 9 · 0.42
IC1α (σ) = ; .
19.02 2.70
3.7 Ampoules
On étudie la production d’une entreprise spécialisée dans la fabrication d’ampoules. On extrait
de la production totale un échantillon de 40 ampoules et on trouve 3 ampoules défectueuses.
1. Construire un intervalle de confiance à 95% pour la proportion d’ampoules défectueuses.
2. Construire un intervalle de confiance à 95% dans le cas où l’échantillon est de taille 400 et
qu’on y découvre 30 ampoules défectueuses.
Réponse. Utiliser les formules vues en cours. On constate que lorsque le nombre étudié d’ampoules
devient grand, les deux approximations se rapprochent. L’approximation simple (qui ne fait pas
intervenir de racine carrée) est de mauvaise qualité lorsque peu d’ampoules sont analysées et
donnent un intervalle de confiance dont une des bornes est négative.
Références
[1] P. G. Hoel. Introduction to Mathematical Statistics. John Wiley and Sons, 1984.
[2] M. R. Spiegel. Théorie et applications de la statistique. Series Schaum, 1976.
L. Ralaivola M1 info 5
