Classiques

Hypothèses

H1 : E (εi ) = 0 pour tout i = 1, ..., n, c’est-à-dire, les erreurs ont une

moyenne nulle.
H2 : var (εi ) = E ε2i = σ 2 , pour tout i = 1, ..., n, c’est-à-dire, les

erreurs ont une variance constante (Homoscédasticité).

H3 : E (εi εj ) = 0 pour i 6= j et i, j = 1, ..., n , c’est-à-dire, les erreurs ne
sont pas corrélées.
H4 : Les valeurs de X sont observés sans erreur (X est non
stochastique).
H5 : cov (Xi , εi ) = 0 pour tout i = 1, ..., n; toutes les variables
explicatives ne sont pas corrélées avec le terme d’erreur.
H6 : Les εi ’s sont indépendants et identiquement distribués N 0, σ 2 .

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 14 / 40

 Classiques

Estimation des Moindres Carrés

Les estimateurs des coefficients βb0 et βb1 , sont obtenus en minimisant la

distance au carré entre chaque observation et la droite.

D’où le nom d’estimateur des moindres carrés ordinaires (MCO)

La résolution analytique est la suivante :

n
X n 
X 2
M in SCR ≡ M in e2i ≡ M in Yi − βb0 − βb1 Xi
i=1 i=1

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 15 / 40

 Classiques

Estimation des Moindres Carrés

En opérant par dérivation par rapport à β0 et β1 (c’est-à-dire les

conditions de premier ordre) afin de trouver le minimum de cette
fonction,
 on obtient les résultats suivants :
n
e2i
P
∂ n n n
i=1 P P P
= −2 ei = 0 =⇒ Yi − nβb0 − βb1 Xi = 0
∂β0 i=1 i=1 i=1
 n

e2i
P
∂ n n n n
i=1
Xi2 = 0
P P P P
= −2 ei Xi = 0 =⇒ Yi Xi − βb0 Xi − βb1
∂β1 i=1 i=1 i=1 i=1
On obtient :
n
P


Xi − X̄ Yi − Ȳ
i=1
βb1 = n
2 et βb0 =Ȳ -βb1 X̄
P
Xi − X̄
i=1
Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 16 / 40
 Classiques

Estimation des Moindres Carrés

La spécification du modèle n’est pas neutre:

I Y = f (X) n’est pas équivalente à X = f (Y )

I Le coefficient β1 représente la pente de la droite ou encore la

propension marginale. On verra que lorsque les variables sont

transformées en logs, le coefficient représentera l’élasticité.

Il y a des cas spéciaux où le terme constante est nul: pour exemple

le cas d’une fonction de production où le facteur fixe n’intervienne

pas.

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 17 / 40

 Classiques

Estimation des Moindres Carrés

Le modèle de régression linéaire simple peut s’écrire sous deux formes

selon qu’il s’agit du modèle théorique spécifié par l’économiste ou du

modèle estimé à partir d’un échantillon.

Le résidu observé (ei ) est donc la différence entre les valeurs observées

de la variable à expliquer Yi et les valeurs ajustées Ybi à l’aide des

estimations des coefficients du modèle, on a :

ei = Yi − Ybi = Yi − βb0 − βb1 Xi i = 1, 2, ..., n

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 18 / 40

 Classiques

Propriétés Statistiques des Estimateurs des

Moindres Carrés

Les estimateurs obtenus en utilisant la méthode des moindres carrés

ordinaires ont deux proprieté importantes:

Estimateurs Sans Biais

Consistance (où Convergence)

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 19 / 40

 Classiques

Propriétés Statistiques des Estimateurs des

Moindres Carrés
Estimateurs Sans Biais :
   
E βb1 = β1 et E βb0 = β0

Consistance (où Convergence) :

 
   σ2 
I lim var βb1 = lim  n

2  = 0

n→∞ n→∞  P
Xi − X̄
 i=1 
  1 X̄ 2 
I lim var βb0 = σ 2  + n

2  = 0

n→∞ n P
Xi − X̄
i=1
Ces types d’estimateurs sont dit ‘BLUE’ : Best Linear Unbiased
Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 20 / 40
 Conséquences de la Normalité des Erreurs

Conséquences de la Normalité des Erreurs

L’hypothèse de normalité des erreurs n’est pas nécessaire pour

obtenir des estimateurs convergents.

Il est en revanche importante pour construire des tests statistiques

concernent la validité du modèle estimé.

les εi sont indépendants N 0, σ 2

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 21 / 40

 Conséquences de la Normalité des Erreurs

Estimation de la Variance des Erreurs σε2

La variance des erreurs de régression notée σ 2 est inconnue et doit être

estimée. En fait, la variance de βb1 et celle de βb0 dépendent de σ 2 . Un

estimateur sans biais pour σ 2 est :

n
e2i
P
2 i=1
σ
b =
n−2

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 22 / 40

 Conséquences de la Normalité des Erreurs

Estimation des Variances des Estimateurs βb1 et βb0

Les variances estimées des deux estimateurs βb1 et βb0 sont :

b2
σ
bβ2b =
σ n
2
1 P
Xi − X̄
i=1
 
1 X̄ 2
bβ2b = σ
b2 

σ n + P
n


2 
0
Xi − X̄
i=1

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 23 / 40

 Conséquences de la Normalité des Erreurs

En conséquence de l’hypothèse de normalité des erreurs, on peut

observer que :

βb1 − β1
∼ N (0, 1)
σβb1
βb0 − β0
∼ N (0, 1)
σβb0
En utilisant ces formules, on peut mettre en place des tests statistiques
pour :
Comparer un coefficient de régression par rapport a une valeur fixée
Comparer deux coefficients provenant de deux échantillons
différents
Déterminer un intervalle de confiance pour un coefficient

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 24 / 40

Inférences dans la Régression et Analyse de la Variance

Intervalles de Confiance

On peut obtenir un intervalle de confiance pour β1 en utilisant le fait

que
h i
α/2 α/2
Pr −tn−2 < t∗βb < tn−2 = 1 − α
1

βb1 − β1
et en substituant t∗b par sa valeur . Puisque les valeurs critiques
β1 σ
bβ̂1
sont connues, βb1 et σ
bβ̂1 peuvent être calculés à partir des données, et

l’intervalle de confiance de β1 avec un niveau de confiance (1 − α) % se

présente comme
h i
α/2
ICβ1 = βb1 ± tn−2 σ
bβ̂1

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 25 / 40