Scribd
Importer
251 vues3 pages

M Ethode Des Moindres Carr Es Ordinaires (Ols) : Tutoriel D Etaill Eenl Tex

La méthode des moindres carrés ordinaires (OLS) est une technique d'estimation des paramètres dans un modèle de régression linéaire visant à minimiser la somme des carrés des résidus. Elle repose sur des hypothèses telles que la linéarité, l'indépendance des observations et l'homoscédasticité. OLS fournit une solution analytique simple, faisant d'elle un estimateur linéaire sans biais optimal (BLUE) sous certaines conditions.

Transféré par

Hicham Atatri
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
251 vues3 pages

M Ethode Des Moindres Carr Es Ordinaires (Ols) : Tutoriel D Etaill Eenl Tex

La méthode des moindres carrés ordinaires (OLS) est une technique d'estimation des paramètres dans un modèle de régression linéaire visant à minimiser la somme des carrés des résidus. Elle repose sur des hypothèses telles que la linéarité, l'indépendance des observations et l'homoscédasticité. OLS fournit une solution analytique simple, faisant d'elle un estimateur linéaire sans biais optimal (BLUE) sous certaines conditions.

Transféré par

Hicham Atatri
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Méthode des Moindres Carrés Ordinaires (OLS)

Tutoriel détaillé en LATEX

Contents
1 Introduction 1

2 Modèle de Régression Linéaire 1

3 Objectif de la Méthode OLS 2

4 Dérivation Mathématique de la Solution 2

5 Hypothèses de la Méthode OLS 2

6 Exemple Numérique Simple 2

7 Conclusion 3

1 Introduction
La méthode des moindres carrés ordinaires (Ordinary Least Squares, OLS) est une technique
d’estimation des paramètres dans un modèle de régression linéaire. L’idée principale est de min-
imiser la somme des carrés des résidus (différences entre les valeurs observées et les valeurs prédites
par le modèle).

2 Modèle de Régression Linéaire


On considère un modèle de régression linéaire sous la forme matricielle :

y = Xβ + ε

où :

• y ∈ Rn est le vecteur des observations,

• X ∈ Rn×p est la matrice des variables explicatives (avec une colonne de 1 si on inclut
l’ordonnée à l’origine),

• β ∈ Rp est le vecteur des coefficients inconnus,

• ε ∈ Rn est le vecteur des erreurs aléatoires.

1
3 Objectif de la Méthode OLS
L’objectif est de trouver β̂ tel que la somme des carrés des résidus soit minimisée :

β̂ = arg min ∥y − Xβ∥2


β

4 Dérivation Mathématique de la Solution


On minimise la fonction de coût :

J(β) = (y − Xβ)⊤ (y − Xβ)

Développons :
J(β) = y ⊤ y − 2y ⊤ Xβ + β ⊤ X ⊤ Xβ
Prenons le gradient par rapport à β :

∇β J = −2X ⊤ y + 2X ⊤ Xβ

En annulant le gradient, on obtient l’équation normale :

X ⊤ X β̂ = X ⊤ y

Si X ⊤ X est inversible, la solution est :

β̂ = (X ⊤ X)−1 X ⊤ y

5 Hypothèses de la Méthode OLS


Pour que les estimateurs OLS aient de bonnes propriétés, certaines hypothèses doivent être satis-
faites :
• Linéarité : le modèle est linéaire en les paramètres.

• Indépendance : les observations sont indépendantes.

• Homoscédasticité : la variance des erreurs est constante.

• Non-corrélation des erreurs : pas d’autocorrélation.

• Normalité : les erreurs sont normalement distribuées (pour les tests statistiques).

6 Exemple Numérique Simple


Considérons un modèle simple :
yi = β0 + β1 xi + εi
Soit les données suivantes :
x y
1 2
2 3
3 5

2
On peut écrire :    
1 1 2
X = 1 2 , y = 3

1 3 5
Calcul de :    
⊤ 3 6 ⊤ 10
X X= , X y=
6 14 23
Alors :  
⊤ −1 ⊤ 0.333
β̂ = (X X) X y=
1.5
Donc l’estimateur est :
ŷ = 0.333 + 1.5x

7 Conclusion
La méthode des moindres carrés ordinaires est une base fondamentale de la régression linéaire. Elle
fournit une solution analytique simple et puissante pour ajuster un modèle aux données. Cette
méthode suppose des hypothèses fortes, mais sous ces conditions, elle est BLUE (Best Linear
Unbiased Estimator).

Vous aimerez peut-être aussi