Table des matières
0.1 Estimateurs et estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
0.2 Intervalle de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
0.3 Estimateur efficace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
0.4 Estimation par Vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . . 3
Statistique inférentielle
0.1 Estimateurs et estimation
Dans cette partie, on considère un espace probabilisé (Ω, A, P ).
Définition 1 Soit X une variable aléatoire réelle sur (Ω, A, P ), et θ est une famille de p
paramètres de X.
1. Un n-échantillon (échantillon de taille n) de X est une famille (X1 , X2 , ..., Xn ) de
variables aléatoires réelles sur (Ω, A, P ) de même loi que X.
2. Soit g :Rp → R. Un estimateur de g(θ) est une variable aléatoire Tn = φn (X1 , . . . , Xn ),
où φn est une application de Rn à valeurs réelles. Si (x1 , . . . , xn ) est une valeur de
(X1 , . . . , Xn ) alors φn (x1 , . . . , xn ) est une estimation de g(θ).
Définition 2 On dit que Tn est un estimateur sans biais de g(θ) lorsque E(Tn ) = g(θ).
Le nombre bTn (g(θ)) = E(Tn ) − g(θ) est le biais l’estimateur Tn pour g(θ).
Définition 3 Le risque quadratique de l’estimateur Tn pour g(θ) est
rTn (g(θ)) = E (Tn − g(θ))2
Remarque 1 rTn (g(θ) = V (Tn ) + b2Tn (g(θ))
Définition 4 Soit (Tn )n une suite d’estimateurs de g(θ).
1. On dit que Tn est convergent si lim V (Tn ) = 0
n→+∞
2. Tn est asymptotiquement sans biais lorsque lim E(Tn ) = g(θ)
n→+∞
Remarque 2 L’inégalité de Markov montre que si (Tn ) un estimateur convergent sans
biais, alors Tn converge en probabilité vers g(θ).
1
Exercice 1 Soit X une variables aléatoire d’espérance m et d’écart type σ. Soit (X1 , X2 , . . . , Xn )
n
1X
un échantillon de X. On pose : Tn = Xk
n k=1
1. Montrer que Tn est un estimateur sans biais de m.
2. Calculer le risque quadratique de cet estimateur.
3. L’estimateur Tn est-il convergent ?
Exercice 2 Soit X une variable aléatoire réelle qui suit la loi uniforme de [a, b] et (X1 , X2 , . . . , Xn )
un échantillon de X.
On considère les variables : Un = max(X1 , X2 , . . . , Xn ) et Vn = min(X1 , X2 , . . . , Xn ).
1. Déterminer les lois des variables Un et Vn .
2. Etudier les estimateurs Un de b, Vn de a (biais,risque,convergence).
3. Proposer des estimateurs sans biais de a et de b.
Proposition 1 (estimateur de la variance) Soit X une variable aléatoire réelle sur (Ω, A, P ),
qui admet une espérance m et un écart type σ.
n
2 1 X
Soit (X1 , X2 , . . . , Xn ) un n-échontillon de X, alors Sn = (Xi − X)2 est un esti-
n − 1 i=1
mateur sans biais de σ 2 .
0.2 Intervalle de confiance
Définition 5 Un intervalle de confiance pour g(θ) est un intervalle Soit Un = φn (X1 , . . . , Xn )
et Vn = ψn (X1 , . . . , Xn ) deux estimateurs de g(θ). L’intervalle aléatoire [Un , Vn ] est un in-
tervalle de confiance de g(θ) au niveau de confiance 1 − α lorsque :
P (Un ≤ g(θ) ≤ Vn ) ≥ 1 − α
p
Exercice 3 Soit p ∈]0, 1[, 1000p > 15, 1000p(1 − p) > 5, et X ,→ B(p), (X1 , . . . , X1000 )
est un échantillon de X.
Trouver un intervalle de confiance pour p, de rayon < 0.05, au niveau de risque 10%.
N.B Un niveau de risque α est équivalent au niveau de confiance 1 − α.
1
P1000
Réponse Soit X 1000 = 1000 i=1 Xi , et λ un √réel strictement positif.
X −p
Par le théorème de limite centrée, √1000 1000 est approchée par N (0, 1).
p(1−p)
On a donc
X 1000 − p √
P (−λ ≤ p 1000 ≤ λ) = 2φ(λ) − 1 = 0.9
p(1 − p)
2
d’où φ(λ) = 0.95 et donc λ = 1.65. Ainsi
!
X 1000 − p √
1.65 p
P p 10 10 ≤ 1.65 = 0.9 = P X 1000 − p ≤ √ p(1 − p)
p(1 − p) 10 10
et en remarquant que p(1 − p) ≤ 14 , on déduit que
1.65 1
0.9 ≤ P ( X 1000 − p ≤ √ )
10 10 2
donc [X 1000 −0.026, X 1000 +0.026] est un intervalle de confiance d’estimation de p au niveau
de confiance 90%.
0.3 Estimateur efficace
Définition 6 Soit X une variable aléatoire réelle à densité pθ , où θ est un paramètre de
X. L a quantité d’information fournie par θ pour X est :
" 2 #
d
IX (θ) = E ln pθ (X)
dθ
Theorème 1 (Rao-Cramer) Soit X une variable aléatoire réelle à densité pθ . On suppose
que l’ensemble Eθ = {x/pθ (x) > 0} est indépendant de θ. Soit Tn = φ(X1 , · · · , Xn ) un
estimateur pour θ. Alors 2
d
dθ
E(Tn )
V (Tn ) ≥
nIX (θ)
La borne inférieure de l’inégalité ci-dessus est appelée borne de Rao-Cramer
Définition 7 L’estimateur Tn est dit efficace lorsque la borne de Rao-Cramer est atteinte
0.4 Estimation par Vraisemblance
Dans toute la suite X est une v.a.r à densité pθ où θ est un paramètre à estimer.
Définition 8 La vraisemblance associée à un échantillon de X est la fonction
n
Y
L(x1 , · · · , xn , θ) = pθ (xi )
i=1
La méthode de maximum de vraisemblance consiste à determiner la valeur de θ qui maxi-
mise L.
3
Dans la suite on suppose que −∇2 ln L est définie positive, ce qui entraı̂ne que la valeur
maximale est atteinte en un point critique.
Theorème 2 L’estimateur du maximum de vraisemblance est un estimateur asymptoti-
quement sans biais et efficace pour θ.
