Statistiques 4 Année universitaire 2015-2016

Cours de Mme Chevalier

Estimation ponctuelle

Définition d’un estimateur Propriétés des estimateurs

Si X est une variable aléatoire de loi Pθ indexée par θ ∈ F Biais
et si E = X(Ω), alors un estimateur de θ est une applica- Le biais d’un estimateur est défini par bn (θ) = Eθ (Tn )−θ.
tion Tn : En −→ F qui, à un échantillon (X1 , . . . , Xn ) de Un estimateur Tn de θ est dit sans biais si Eθ (Tn ) = θ.
la variable X associe une variable aléatoire réelle dont on Biais asymptotique
peut déterminer la probabilité. Un estimateur Tn de θ est dit asymptotiquement sans
biais si Eθ (Tn ) −−−−→ θ.
n→∞
Construction d’un estimateur Convergence
Un estimateur Tn est dit convergent si la suite de va-
Méthode simple
riables aléatoires (Tn ) converge en probabilité vers θ.
Si le paramètre à estimer est θ = E(X), l’estimateur na-
Cas particulier : un estimateur Tn sans biais ou asymp-
turel est la moyenne empirique
totiquement sans biais et dont la variance tend vers 0 est
1P n
Tn = X n = Xi convergent.
n i=1
Moyenne et variance empiriques
Si le paramètre à estimer est θ = V(X), l’estimateur na- D’après la loi des grands nombres, la moyenne empi-
turel est la variance empirique rique Xn est un estimateur sans biais et convergent, quelle
1Pn
Tn = S02 (Xi − Xn )2 que soit la loi de la variable X.
n =
n i=1 La variance empirique S02
n est un estimateur asymptoti-

Méthode des moments quement sans biais et convergent, quelle que soit la loi de
Si l’un des moments d’ordre k ∈ N∗ de X dépend de θ, la variable X.
on cherche un estimateur en résolvant l’équation obtenue La variance empirique modifiée
1 P n
en égalant moment théorique et moment empirique :
S2n = (Xi − Xn )2
1P n n − 1 i=1
Eθ (Xk ) = Xi k
n i=1 est un estimateur sans biais et convergent, quelle que soit
n
la loi de la variable X.
1P
ou Eθ [(X − E(X))k ] = (Xi − Xn )k Information de Fisher
n i=1
Si Tn est un estimateur du paramètre θ, la quantité d’in-
Cas particulier : pour les moments d’ordre 1 et 2, les formation de Fisher de Tn est
équations s’écrivent  2 !
∂ ln L
Eθ (X) = Xn et Vθ (X) = S02
n In (θ) = Eθ
∂θ
Méthode du maximum de vraisemblance Sous les hypothèses de Cramer-Rao (vérifiées par les lois
La vraisemblance d’un échantillon (X1 , . . . , Xn ) est défi- usuelles), et si E = X(Ω) est indépendant de θ,
nie par
 2 
∂ ln L
n In (θ) = Eθ −
∂θ2
L(x1 , . . . , xn ; θ) = Π f (xi ; θ)
i=1 Efficacité
si la loi de X est de densité f , et par Sous les hypothèses de Cramer-Rao (vérifiées par les lois
n
usuelles), et si E = X(Ω) est indépendant de θ, un esti-
L(x1 , . . . , xn ; θ) = Π P(Xi = xi |θ)
i=1 mateur Tn est efficace si
si la loi de X est discrète. 1
V(Tn ) =
La log-vraisemblance est égale à ln L(X1 , . . . , Xn ; θ). In (θ)

L’estimateur Tn du maximum de vraisemblance est la

Comparaison de deux estimateurs
valeur de θ qui maximise L (ou ln(L)).
sans biais
Si L est deux fois dérivable, c’est la valeur θ telle que
Sous les hypothèses de Cramer-Rao (vérifiées par les lois
∂ ln(L) ∂ 2 ln(L)
=0 et <0 usuelles), et si E = X(Ω) est indépendant de θ, l’inégalité
∂θ ∂θ2 de Cramer-Rao assure que
Si Tn est un estimateur du maximum de vraisemblance 1
V(Tn ) >
du paramètre θ, alors g(Tn ) est aussi un estimateur du In (θ)
maximum de vraisemblance de g(θ) (mais il a nécessaire- Pour comparer deux estimateurs sans biais, le plus effi-
ment un biais si Tn n’en a pas). cace est celui qui a la variance la plus petite.
Exemples d’estimateurs : Calculs avec les exponentielles
paramètres des lois classiques Si a, b, x, x1 , . . . , xn ∈ R et n ∈ N,
Les principales lois classiques sont traitées dans les exp(a + b) = exp(a) × exp(b)
exemples vues en cours :
Loi uniforme sur [ 0 ; θ ] : exemple 7 exp(a)
exp(a − b) =
Loi exponentielle de paramètre 1/θ : exemple 8 exp(b)
Loi exponentielle sur [ θ ; +∞ [ : exemple 9 1
exp(−x) =
Loi de Poisson de paramètre θ : exemple 10 exp(x)
Loi de Bernoulli de paramètre θ : exemple 11 exp(nx) = (exp(x))n
Loi normale de paramètres (m, σ) : exemple 12 Pn  n
exp xi = Π exp(xi )
i=1 i=1
Rappels mathématiques
Calculs avec les puissances Calculs de dérivées
Si x, y, a, b, a1 , . . . , an ∈ R (sous réserve d’existence des
nombres ci-dessous), f (x) f 0 (x) f 00 (x) condition
xn nxn−1 n(n − 1)xn−2 n ∈ N, x ∈ R
xa · xb = xa+b
1 −1 2
(xa )b = xa×b x 6= 0
x x2 x3
xa · y a = (xy)a 1 −2 6
x 6= 0
1 x2 x3 x4
= x−a
xa 1 −n n(n + 1)
n ∈ N, x 6= 0
xa xn xn+1 xn+2
= xa−b
xb 1 −1
ln(x) x>0
xa
 a
x x x2
=
ya y exp(x) exp(x) exp(x) x∈R
Pn
n ai
Π xai = xi=1 f (x) f 0 (x) condition
i=1 (u(x))n n(u(x))n−1 u0 (x) n ∈ N, u(x) ∈ R
Calculs avec les logarithmes 1 −nu0 (x)
n ∈ N, u(x) 6= 0
Si a, b, x, x1 , . . . , xn > 0 et n ∈ N, (u(x))n (u(x))n+1
ln(ab) = ln(a) + ln(b) u0 (x)
ln(u(x)) u(x) > 0
ln(a/b) = ln(a) − ln(b) u(x)

ln(1/x) = 1 − ln(x) exp(u(x)) exp(u(x))u0 (x) u(x) ∈ R

ln(xn ) = n ln(x)
Calculs de primitives
 n  n Elles sont données dans le tableau précédent, en le lisant
ln Π xi =
P
ln(xi ) de droite à gauche (la primitive de f 0 est f ).
i=1 i=1