Table de matière

1 RESULTATS ASYMPTOTIQUES DES MCO DANS LES MODELS DE REGRESSION 3

1.1 Rappels sur les notions convergences, et les grands théorèmes en statistique . . . . . . . . . . . 3
1.1.1 Convergence en probabilité, Convergence en loi, Convergence en moyenne quadratique. . 3
1.1.2 Loi forte des grands nombres, théorèmes centrale limite. . . . . . . . . . . . . . . . . . . 4
1.2 Propriétés asymptotiques de l'estimateur des MCO . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 Convergence en probabilité de l'estimateur des MCO . . . . . . . . . . . . . . . . . . . . 5
1.2.2 Convergence asymptotique en loi de l'estimateur des MCO vers la loi Normale . . . . . 6
1.2.3 Estimation de la matrice de Variance-Covariance de l'estimateur des MCO vers la loi
Normale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Quelques tests asymptotique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2 Test d'hypothèses linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.3 Exercices avec astuces de correction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1
2 TABLE DE MATIÈRE
Chapitre 1

RESULTATS ASYMPTOTIQUES DES

MCO DANS LES MODELS DE
REGRESSION
INTRODUCTION

Dans ce chapitre, nous allons étudier les comportements asymptotique des estimateurs des Moindre Carrés
Ordinaire dans un modèle de régression. De façon plus précise, nous allons chercher la loi de l'estimateur des
MCO sans faire d'hypothèse sur la loi des perturbations (ce qui justie le terme  asymptotique ), an d'obtenir
des résultats clairs. L'obtention de ces résultats repose principalement sur des outils de théories asymptotique
comme la notions de convergence, La loi des grands nombres et le théorème central limite. Il sera donc nécessaire
pour nous de faire un petit ash-back sur la statistique inférentielle pour quelques petits rappels.

1.1 Rappels sur les notions convergences, et les grands théorèmes en

statistique

Considérons (Xn ) une suite de variables aléatoires. Soit Fn la fonction de répartition de Xn . Soit X une
variable aléatoire de fonction de répartition F, et dénies sur le même espace probabilisé, c'est à dire qu'un
même événement ω détermine les valeurs des Xn (ω ) pour tous les n et de X(ω )

1.1.1 Convergence en probabilité, Convergence en loi, Convergence en moyenne

quadratique.
Dans l'optique de ne pas nous éloigner de notre objectif, on ne donnera que les résultats des ces diérents
types de convergence.

 Convergence en probabilité :
On dit que (X n ) converge en probabilité vers X et on note Xn −→ X ou lim Xn = X si :
P
n→+∞
∀ε > 0, Pr {|Xn − X| > ε} −→ 0 quand n −→ 0
Notons que Pr {|Xn − X| > ε} = Pr {ω, |Xn (ω) − X(ω)| > ε}

Cette notion de convergence nous intéressera pour la convergence ponctuelle des estimateurs. Dans ce
cas l'élément ω est un état de la nature qui engendre un nombre inni de réalisation du processus étudié.
Les suites X (ω) sont les suites d'estimateurs que l'on peut construire en utilisant l'échantillon des n
premières observations du processus. La limite X est une constante. La notion de convergence signie que

3
4 CHAPITRE 1. RESULTATS ASYMPTOTIQUES DES MCO DANS LES MODELS DE REGRESSION

pour n'importe quelle boule centrée sur la limite, les états de la nature tels qu'il existe des estimateurs
hors de la boule considérée pour des tailles arbitrairement grandes des échantillons sont de mesure nulle.

 Convergence en loi :
On dit que Xn converge en loi vers X et on note Xn −→ X si la suite des fonctions de répartition
L

associées (Fn )converge, point par point, vers F la fonction de répartition de X en tout point où F est
continue :
∀X, Fn (X) −→ F (X).

 Convergence en moyenne quadratique :

mq
On dit que Xn converge en moyenne quadratique vers X et on note Xn −→ X si : E∥Xn − X∥2 −→ 0
n→+∞
Note : La convergence en moyenne quadratique implique la convergence en probabilité et la convergence
en moyenne quadratique vers une constante résulte de la convergence du moment d'ordre 1 vers cette
constante et du moment d'ordre 2 vers 0 : E(Xn ) −→ α, etV (Xn ) −→ 0

1.1.2 Loi forte des grands nombres, théorèmes centrale limite.

On donne maintenant les deux théorèmes centraux sur lesquels reposent toutes les propriétés asymptotiques
des estimateurs usuels : la loi des grands nombres qui stipule que sous des hypothèses assez faible la moyenne
empirique converge en probabilité vers l'espérance, et le théorème central limite qui précise la loi de l'écart
entre la moyenne empirique et l'espérance.

 Proposition : Loi des grands nombres (Tchebychev).

Soit (Xi ) une suite de P
variables aléatoires indépendantes telles que E(Xi ) = mi , V (Xi ) = σ 2 existent.
On considèrePnX n =2 n i=1 Xi la moyenne empirique si la variance de cette moyenne empirique tend
1 n

vers 0, n2
1
i=1 σi →0, alors :
Pn Pn mq
X n − mn = ( n1 i=1 Xi − 1
n i=1 mi ) −→ X
n→+∞
Corollaire : Soit (X i ) une suite de variable aléatoire indépendantes telles que E (Xi ) = m et V (Xi ) =
σ 2 existent, alors :
1
Pn P
Xn = n i=1 Xi −→ m
n→+∞

 Proposition : Théorème central limite (Lindberg-Levy).

Soit (Xi ) une suite de variables aléatoires indépendantes et équidistribuées telles que E (Xi ) = m et
V (Xi ) = σ 2 existent, alors :
√ mq
n(X n − m) −→ N (0, σ 2 )

 Proposition : Théorème central limite (Liapounov).

Soit (Xn ) une suite de variables aléatoires indépendantes de moyenne (µn ), de variance σn 2 et telle que
ω3N = E(|Xn −µn | ) ) existent.
3

 1/3

( Nn=1 ω3n )
P
Si lim 2 1/2
= 0 alors on aura donc :
( N
n=1 σn )
P
n→+∞
q
L
V (X n )(X n − E(X n )) −→ N (0, 1)

avec V (X n ) = n1 σn 2 (c'est à dire la variance moyenne divisée par N)

Remarque : La loi des grands nombres et le Théorème Central Limite sont des résultats fondamentaux
de la théorie asymptotique. Ils permettent d'étudier les propriétés d'une variable aléatoire (un estimateur, par
exemple. . .) en l'absence de toute hypothèse quant à sa distribution vraie.
1.2. PROPRIÉTÉS ASYMPTOTIQUES DE L'ESTIMATEUR DES MCO 5
1.2 Propriétés asymptotiques de l'estimateur des MCO

On sait que connaître la loi de l'estimateur est très utile, surtout pour réaliser des tests sur la valeur vraie
des coecients à partir des estimations obtenues. Dans cette partie, nous allons utiliser les résultats découlant
des convergences et des théorèmes précédents ; pour les appliquer à l'estimateur des MCO dans le but d'étudier
son comportement asymptotique.
Considérons donc le modelé yi = xi b + ui ; nous retenons en revanche quelques hypothèses moins restric-
tives, vue que la normalité des résidus n'est plus imposée :

 H1 : Les observations (yi , xi ) ∈ R ∗ Rk+1 , i = 1, ..., N sont IID ;

 H2 : ∀ N, X ′ X est non singulière ;

 H3 : Les moments de |xki , x′ li | existent et E(xi , x′ i ) est inversible, et X ′ X⧸N −→ Q avec Q une
P

matrice constante et inversible ;

 H4 : E(ui |xi ) = 0 ;

 H5 : V (ui |xi ) = V (ui ) = σ 2

Sous ces hypothèses, l'estimateur des MCO se déni comme suit :

β̂mco = (X ′ X)−1 .X ′ Y (1.1)

Les propositions qui suivent exploitent cette expression an de d'écrire les propriétés asymptotiques de
l'estimateur. Pour ce faire, nous utiliserons l'écart entre la vraie valeur du paramètre et le paramètre estimé,
β̂−β = (X ′ X)−1 .X ′ U avec U la matrice des résidus. L'analyse consiste à étudier le comportement asymptotique
de chacune des deux composantes.
p
 L'étude du premier terme consistera à montrer que (X ′ X) −→ Q, Qétant une matrice constante. Nous
donnerons, en particulier, des conditions sous lesquelles cette matrice Q est E(xi , x′i ) et, surtout, nous
montrerons que cette matrice converge en probabilité vers une matrice xe.

 L'étude du deuxième terme

p consistera à appliquer le théorème central limite à x′i ui .
Nous allons donc étudier N xi ui et exploiter le fait que E(x′i ui ) = 0.
′

1.2.1 Convergence en probabilité de l'estimateur des MCO

En remplaçant yi par sa valeur(yi = xi b + ui ) dans l'équation (1.1) on obtient :
ˆ = (X ′ X)−1 .X ′ Y = (x′ xi )−1 .x′ (xi b + ui ) = (x′ xi )−1 .x′ xi b + x′ ui
βmco i i i i i

en développons cette expression, on a :

ˆ = (x′ xi )−1 .x′ xi b + x′ ui = (x′ xi )−1 .(x′ xi b + x′ ui ) = b + (x′ xi )−1 .x′ ui
βmco i i i i i i i i

Ainsi, on obtient donc

ˆ = b + (x′ xi )−1 .x′ ui
βmco i i (1.2)
Comme les moments |xki xli | des variables explicatives existent, on peut appliquer la loi des grands nombres
à x′i xi . De même on peut appliquer la loi des grands nombre à x′i ui , si E(x′i ui ) et V (x′i ui ) existent.

Comme E(x′i ui ) = E(E(x′i ui |xi )) = 0, et V (x′i ui ) = E(V (x′i ui |xi )) + V (E(x′i ui |xi )) = σ 2 .E(x′i xi ), on aura
alors.
6 CHAPITRE 1. RESULTATS ASYMPTOTIQUES DES MCO DANS LES MODELS DE REGRESSION

x′i xi −→ E(x′i xi ), x′i ui = x′i ui −→ E(x′i xi ).

1
Pn P 1
Pn P
x′i xi = N i=1 N i=1

on en déduit donc :
−1 −1
−→ E(x′i xi )−1 (en d'autres termes, X ′ X −→ Q = E(x′i xi )−1 )
P P
x′i xi
−1 ′ P
x′i xi xi ui −→ E(x′i xi )−1 E(x′i ui )
−1 ′ P
ˆ = b + x′ xi
βmco xi ui −→ b + E(x′i xi )−1 E(x′i ui )
i

Car les espérances E(x′i ui ) et E(x′i ui ) sont par d dénition des constantes, que l'application A ←→ A−1 est
continue et enn que le produit et la somme de suite de variables aléatoires convergent en probabilité vers des
constantes converge en probabilité.
Comme par ailleurs E(x′i ui ) = E [xi E(ui |xi )] = 0 (d'après le théorème centrale limite qui a été appliqué
àxi ui ), on a donc βmco
′ ˆ −→P
b

Proposition 1 Sous les hypothèses H1 − H5 , l'estimateur des MCO (1.1) est convergent et converge vers une
matrice constante :

(1.3)
ˆ −→ b P
βmco

1.2.2 Convergence asymptotique en loi de l'estimateur des MCO vers la loi Nor-
male
A partir de l'équation (1.2), on en déduit les expressions suivantes :
ˆ − b = +(x′ xi )−1 .x′ ui
βmco i i
√ √ √
ˆ − b) =
N (βmco N (x′i xi )−1 .x′i ui = (x′i xi )−1 . N x′i ui
√ √ √
On cherche donc à appliquer le théorème centrale limite à N x′i ui (car E( N x′i ui ) et V( N x′i ui ) existent.
Les variables x′i ui sont indépendantes et équi-distribuées. On pourra appliquer le théorème central limite si les
deux moments de ces variables existent.

On sait que :

E(x′i ui ) = 0

V (x′i ui ) = V (E(x′i ui |xi )) + E(V (x′i ui |xi ))x = E(x′i V (ui |xi )xi ) = σ 2 E(x′i xi )

Les moment d'ordre 1 et 2 de x′i ui existent, donc le théorème centrale limite permet d'armer que :
√ L
N x′i ui −→ N (0, σ 2 E(x′i xi ))
−1
Or, comme x′i ui −→ E(x′i ui )−1 = Q Ou Q est une matrice constante, on peut donc appliquer le théorème
P
−1 √
de Slutsky à x′i xi et N x′i ui .
−1 √ L
x′i xi N x′i ui −→ E(x′i ui )−1 N (0, σ 2 E(x′i xi ))
L
−→ E(x′i ui )−1 N (0, σ 2 E(x′i xi )(E(x′i ui )−1 )2 )
L
−→ N (0, E(x′i ui )−1 σ 2 E(x′i xi )E(x′i ui )−1 )
L
−→ N (0, E(x′i ui )−1 σ 2 )
1.3. QUELQUES TESTS ASYMPTOTIQUE 7
√ √
On sait de plus que (x′i xi )−1 . N x′i ui = N (βmco
ˆ − b)
√
Ce qui nous donne alors :
L
ˆ − b) −→ N (0, σ 2 E(x′ ui )−1 )
N (βmco i

Proposition 2 Sous les hypothèses H1 − H5 ,la variance asymptotique de l'estimateur des MCO est
Vas = σ 2 E(x′i xi )−1 . (1.4)
Il en ressort de même que l'estimateur des MCO converge asymptotiquement vers une loi Normale centrée :
√
(1.5)
L
ˆ − b) −→ N (0, Vas )
N (βmco

1.2.3 Estimation de la matrice de Variance-Covariance de l'estimateur des MCO

vers la loi Normale
On sait que :
−1 P
σˆ2 −→ σ 2 et x′i xi −→ E(x′i xi )−1 , ce qui implique donc que
P

−1 P
σˆ2 x′i xi −→ σ 2 E(x′i xi )−1 ) soit Vˆas −→ Vas .
P

Proposition 3 Sous les hypothèses H1 − H5 ,la matrice de variance-Covariance asymptotique de l'estimateur

des MCO peut donc être estimer par :
−1
V̂as = σˆ2 x′i xi (1.6)
√
Note : V̂as est un estimateur de Vas , c'est la variance asymptotique de l'estimateur dilatée par N qui est
une matrice constante
− 12 −1
il en découle donc que Vˆas −→ Vas 2 , de plus, on a :
P

√ L
ˆ − b) −→
N (βmco N (0, Vas )
√
Ainsi, en appliquant le théorème de Slutsky àVˆas et à ˆ − b) , on a bien :
N (βmco
− 1 √ P −1
Vˆas 2 ˆ − b) −→ Vas 2 N (0, Vas )
N (βmco
− 12 √
Ce qui donne nalement : Vˆas
P
ˆ − b) −→
N (βmco N (0, Ik+1 )

1.3 Quelques tests asymptotique

Dans les normes, lorsqu'on veut faire des tests, il est indispensable de connaître la loi de l'estimateur sous
les hypothèses de la normalité.
Mais les tests que l'on considère ici sont des test dits asymptotiques car ils sont basés sur une statistique dont
on ne connaît la loi que de manière asymptotiquement . La diérence concerne aussi la notion d'optimalité que
l'on retient. Comme précédemment, les tests que l'on va considérer sont dénis par une région critique W pour
une statistique Ŝ telle que :

Ŝ ∈ W ⇒ on rejette H0 contre H1
8 CHAPITRE 1. RESULTATS ASYMPTOTIQUES DES MCO DANS LES MODELS DE REGRESSION

On introduit aussi les risques de première espèce P lim Pr (Ŝ ∈ W |H0 ) est le risque de première espèce :
n→+∞
il représente asymptotiquement la probabilité de rejeter H0 à tort.
P lim Pr (Ŝ ∈ / W |H0 )est le risque de deuxième espèce : la probabilité d'accepter H0 à tort. On introduit aussi
n→+∞
la puissance du test dénie comme 1- risque de deuxième espèce : puissance = P lim Pr (Ŝ ∈ W |H0 ).
n→+∞

Le principe du test est de minimiser le risque de seconde espèce en contrôlant à un niveau donné le risque
de première espèce. Ce niveau maximal du risque de première espèce est encore appelé le seuil ou le niveau
du test. Dans le cas normal on avait introduit la notion de tests uniformément plus puissants, c'est à dire de
tests qui maintenant un niveau donné du risque de première espèce conduise pour toute valeur de l'hypothèse
alternative à une probabilité de rejet maximale. Cette propriété est trop forte et on ne peut pas trouver en
toute généralité un tel test. On avait alors introduit des classes de tests plus restreintes, les tests sans biais, les
tests invariants pour lesquels on pouvait trouver un test optimal.
La notion que l'on retient ici est celle de test convergent. Elle rejoint la notion de test uniformément plus
puissant puisqu'un test convergent est un test dont la puissance tend vers 1.

1.3.1 Dénition
 On dit que le test de région critique W est asymptotique si ses propriétés sont valables pour N grand

 On dit que le test de région critique W est de niveau asymptotique α si lim Pr (Ŝ ∈ W |H0 ) = α
n→+∞

 On dit que le test de région critique W est convergent si sa puissance tend vers 1 ( lim Pr (Ŝ ∈ W |H0 ) =
n→+∞
1)
On dénit aussi de façon alternative la p-value. La statistique Ŝ est choisie de telle sorte que sous H0 ŜßS0
dont la loi est connue et à support positif (valeur absolue d'une loi normale, loi du khi deux). La région critique
est dénie comme suit :

W = {Ŝ|hatS > q(1−α, S0 )} , Où q(1−α, S0 ) est le quantile d'ordre 1−α de S0 : P r(S0 > q(1−α, S0 )) = α

On dénit la p-value p(Ŝ) comme suit :

Ŝ = q(1 − p(Ŝ), S0 ) ; i.e p(Ŝ = Pr (S0 > Ŝ))

Pour tout seuil α, on rejette H0 au seuil α si et seulement si α ≥ p(Ŝ). En eet, α ≥ p(Ŝ) signie que :

α = P r{S0 > q(1 − α, S0 )} ≥ P r{S0 > Ŝ} ⇐⇒ {Ŝ > q(1 − α, S0 )}

1.3.2 Test d'hypothèses linéaires

ˆ Test de Student asymptotique
Il s'agit du test d'une hypothèse linéaire unidimensionnelle de la forme H0 : c′ b = r ou c ∈ Rk+1 et r ∈ R.
Un cas particulièrement important est celui de la signicativité du coecient bk = 0

Proposition 4 Si les hypothèses H1 − H5 sont satisfaites, sous l'hypothèse nulle H0 : c′ b = r on a :

√ c′ β̂mco − r c′ β̂mco − r
(1.7)
L
Ŝ = Np =p −→ N (0, 1)
c′ Vˆas (β̂mco )c ′
c V̂ (β̂mco )c

Le test dénie par la région critique W = {Ŝ/|Ŝ| > q(1 − α2 )} (ou q(1 − α2 ) est le quantile d'ordre 1 − α2
de la loi Normale N (0, 1)) est un test convergent au niveau α.
1.3. QUELQUES TESTS ASYMPTOTIQUE 9
On retrouve donc un test très proche de celui obtenu dans le cas où on spécie la loi des résidus. Les seules
diérences sont que 1/ le résultat n'est valable qu'asymptotiquement, alors qu'il était valable à distance nie
dans le cas normal et 2/ la loi considérée est une loi normale et non plus une loi de Student. Cette dernière
diérence n'en est une qu'en partie puisque l'on peut montrer que la loi de Student tend vers une loi normale
lorsque le nombre de degrés de liberté tend vers l'inni. Les régions critiques sont donc asymptotique-
ment les mêmes.

les diérentes gures illustre parfaitement cette convergence au fur et à mesure que N devient deplus en
plus grande.

ˆ Application : test de Student asymptotique de nullité d'un paramètre à α = 5%

Le cas d'application le plus direct est celui du test de la nullité d'un paramètre d'une régression. Dans ce cas
le vecteur c′ = (0, ..., 0, 1, 0, ...,q0), c′ b = bk ,q
r = 0, car onqs'intéresse à l'hypothèse nulle de nullité de la k-ième
c′ V̂as (b̂)c
composante du paramètre et N = c′ V̂ (b̂)c = c′ V̂ (b̂k ) = σˆk .

Le résultat de la proposition stipule donc qu'un test asymptotique au seuil α de l'hypothèse de nullité du
paramètre peut être fait en considérant le t de Student :

b̂k
tk = (1.8)
σ̂k

Asymptotiquement sous l'hypothèse nulle, cette quantité suit une loi normale. Un Test au seuil α peut être
eectué en comparant la valeur du t au quantile d'ordre 1 − α2 de la loi normale. Ainsi on rejettera H0 à α%
si |tk | > q(1 − α2 , N (0, 1)).

En pratique on s'intéresse souvent à des tests à 5%. Dans ce cas le quantile auquel on compare est le
quantile d'ordre 97,5% dont la valeur est de 1,96. En d'autres termes : on rejette à 5% l'hypothèse de nullité
d'un paramètre si le ratio de la valeur estimée du paramètre à son écart-type estimé, le t de Student, est en
valeur absolue supérieur à 1,96.

1.3.3 Exercices avec astuces de correction.

Exercice 1
Soit un modèle de régression linéaire simple avec une seule variable explicative X et une variable cible Y. On
suppose que les données sont générées par le modèle suivant : Y = β0 + β1 X + ε, où ε est un bruit gaussien
indépendant et identiquement distribué (i.i.d.).

a) Montrez que l'estimateur des moindres carrés ordinaires (MCO) est asymptotiquement normal.
Réponse : Nous pouvons démontrer que l'estimateur des moindres carrés ordinaires (MCO) est asymp-
totiquement normal en utilisant le théorème central limite. En eet, si nous considérons un échantillon
aléatoire de taille n, alors la moyenne empirique de l'estimateur MCO suit une loi normale centrée réduite
avec une variance qui tend vers 0 à mesure que n tend vers l'inni. Autrement dit, pour n susamment
grand, l'estimateur OLS suit une loi normale centrée réduite avec une variance nie.

b) Montrez que l'estimateur des moindres carrés ordinaires (MCO) est asymptotiquement ecace.
Réponse : Nous pouvons démontrer que l'estimateur des moindres carrés ordinaires (MCO) est asymp-
totiquement ecace en utilisant le théorème de Cramér-Rao. En eet, si nous considérons un échantillon
aléatoire de taille n, alors la variance empirique de l'estimateur MCO tend vers 0 à mesure que n tend
vers l'inni. Autrement dit, pour n susamment grand, la variance empirique de l'estimateur MCO est
inniment petite et donc asymptotiquement ecace.
10 CHAPITRE 1. RESULTATS ASYMPTOTIQUES DES MCO DANS LES MODELS DE REGRESSION

Exercice 2
Soit un modèle linéaire simple Y = β0 + β1 X + ε, où X et Y sont des variables aléatoires indépendantes.
Supposons que E(ε) = 0 et V ar(ε) = σ 2 . Montrer que l'estimateur des moindres carrés ordinaires (MCO) de
β1 est asymptotiquement normal.

ˆCorrigé :
L'estimateur des moindres carrés ordinaires (MCO) de β1 est donné par : β̂1 = (X ′ X)−1 X ′ Y En utilisant
le théorème central limite, on peut montrer que β̂1 est asymptotiquement normal avec une moyenne égale à β1
et une variance égale à σ 2 (X ′ X) − 1.

Exercice 3
Soit un modèle linéaire multiple Y = β0 + β1 X1 + . . . + βk Xk + ε, où X et Y sont des variables aléatoires
indépendantes. Supposons que E(ε) = 0 et V ar(ϵ) = σ 2 . Montrer que l'estimateur des moindres carrés ordi-
naires (MCO) de β est asymptotiquement normal.

ˆCorrigé :

L' estimateur des moindres carrés ordinaires (MCO) de β est donnée par : β̂ = (X ′ X)−1 X ′ Y . En utilisant
le théorème central limite, on peut montrer que β̂ est asymptotiquement normal avec une moyenne égale à β
et une variance égale à (σ 2 (X ′ X))−1 .

Exercice 4
Soit un modèle linéaire multiple Y = Xβ + ε, où X et Y sont des variables aléatoires indépendantes. Sup-
posons que E(ϵ) = 0 et V ar(ϵ) = σ 2 I , où I est la matrice identité de taille n Ö n. Montrer que l'estimateur
des moindres carrés ordinaires (MCO) de β est asymptotiquement normal.

ˆCorrigé :
L'estimateur des moindres carrés ordinaires (MCO) de β est donnée par : β̂ = (X ′ X)−1 X ′ Y En utilisant le
théorème central limite, on peut montrer que β̂ est asymptotiquement normal avec une moyenne égale à β et
une variance égale à (σ 2 (X ′ X))−1 .

Exercice 5
Soit un modèle de régression linéaire simple avec une seule variable explicative X et une variable cible Y.
On suppose que les données sont générées par le modèle suivant :Y = β0 + β1 X + ε, où ε est un bruit gaussien
indépendant et identiquement distribué (i.i.d.).
a) Montrez que l'estimateur des moindres carrés ordinaires (MCO) est asymptotiquement normal.

ˆCorrigé :

Nous pouvons démontrer que l'estimateur des moindres carrés ordinaires (MCO) est asymptotiquement
normal en utilisant le théorème central limite. En eet, si nous considérons un échantillon aléatoire de
taille n, alors la moyenne empirique de l'estimateur MCO suit une loi normale centrée réduite avec une
variance qui tend vers 0 à mesure que n tend vers l'inni. Autrement dit, pour n susamment grand,
l'estimateur MCO suit une loi normale centrée réduite avec une variance nie.

b) Montrez que l'estimateur des moindres carrés ordinaires (MCO) est asymptotiquement ecace.
ˆCorrigé :
1.3. QUELQUES TESTS ASYMPTOTIQUE 11
Nous pouvons démontrer que l'estimateur des moindres carrés ordinaires (MCO) est asymptotiquement
ecace en utilisant le théorème de Cramér-Rao. En eet, si nous considérons un échantillon aléatoire de
taille n, alors la variance empirique de l'estimateur MCO tend vers 0 à mesure que n tend vers l'inni.
Autrement dit, pour n susamment grand, la variance empirique de l'estimateur MCO est inniment
petite et donc asymptotiquement ecace.