Université Badji Mokhtar Annaba Promotion : Master 1 spé ialité GADM

Département d'informatique Année 2020/2021

Cours sur la méthode des moindres arrés

Introdu tion Ce ours onsiste à expliquer omment établir la droite de régression (un
ajustement ane)par la méthode des moindres arrés. Pour dénir ette méthode, on va
faire un petit rappel sur le al ul des dérivées partielles, ar par la suite on aura besoin
d'ee tuer deux types de dérivées par rapport à deux variables diérentes.

Rappel sur les sommes en mathématique

Σni=1 xi = x1 + x2 + ..... + xn .
Σni=1 (xi + yi ) = Σni=1 xi + Σni=1 yi .
Σni=1 (axi + b) = Σni=1 (axi ) + Σni=1 b
= (ax1 + ax2 + ...... + axn ) + (b + b + .... + b)
= a(x1 + x2 + .... + xn ) + n × b
= aΣni=1 xi + nb

Rappel sur les dérivées partielles

Soit la fon tion f(a,b) à deux variables a et b tel que f (a, b) = (y −(ax+ b))2 , on remarque
que ette formule a la forme suivante :
On ommen e par la dérivée partielle par rapport à "a".
δf
= 2(y − (ax + b))(−x)
δa
Car (U n )′ = nU n−1 U ′
On reprend la dérivée tel que le "b" est onstant.
δf
= 2(y − (ax + b))(−x)
δa
= −2x(y − (ax + b)).

Maintenant, on fait la dérivée partielle par rapport à "b".

δf
= 2(y − (ax + b)) × (−1)
δb
=−2(y − (ax + b)).

Le prin ipe de la méthode des moindres arrés Soit une population représentée
par le ouple (xi , yi ), don on a deux ensembles {{x1 , x2 , ..., xn }; {y1, y2 , ..., yn }}.
La méthode des moindres arrés (pour la régression linéaire) onsiste à re her her une
relation entre y et x qui a la forme y = f(x), lorsque ette relation est de type ane
don de la forme y = ax + b don on parlera de régression linéaire. Dans e as, "y" est
appelée la variable dépendante ou la variable expliquée et "x" est la variable expli ative
(on va remarquer qu'il n'existe pas une relation dire te entre x et y ar on va trouver des
erreurs). L'ensemble de ouple (xi , yi ) fait l'objet d'une représentation graphique qui est
la suivante :

Les xi et yi peuvent être représentées par un nuage de points ssi à pour abs isse xi et
omme ordonnée yi tel que :
 Dy/x est la droite de régression de y en x,

1 M.Mendjel
Université Badji Mokhtar Annaba Promotion : Master 1 spé ialité GADM
Département d'informatique Année 2020/2021

 Dy/x a la forme y = ax + b,
 Le point Pi a le même abs isse que Mi .
Si on voit la gure i-dessous, on remarque qu'on a une forme de dispersion des points
autour de la droite Dy/x .

Figure 1  un s héma expli atif

Ce nuage de points est ara térisé par le point moyen G(x̄, ȳ) tel que x̄ 'est la moyenne
des x et ȳ 'est la moyenne des y sa hant que le point G se trouve sur la droite.
Don l'obje tif est de re her her la droite qui ajuste e nuage de points, on remarque qu'il
y a des é arts appelés résidus qui sont les Pi Mi notés par ǫi . Le but de la méthode 'est
de déterminer la droite D pour la quelle la somme Pi Mi arrée 'est à dire ΣPi Mi2 soit
minimale. Cette somme est la somme de tous les résidus ǫ2i .
On fait Σǫ2 par e qu'il y a parfois des é arts positifs et parfois des é arts négatifs.
Le Pi vu pré édemment a omme ordonnée axi + b et le point Mi a omme ordonné yi et
don le résidu entre Pi et Mi est égale à Σni=1 (yi − (axi + b))2 = Σni=1 ǫ2i = E (qui représente
l'erreur).
Don l'obje tif est de déterminer a et b de telle sorte que ette somme soit minimale.
On her he l'équation e la droite Dy/x : y = ax + b...(1).
Cette droite passera obligatoirement par le point moyen G(x̄, ȳ), omme le point G ap-
partient à la droite, don nous avons :
ȳ = ax̄ + b.....(2)
(1)-(2) : y − ȳ = a(x − x̄)
Σxi Σyi Σ(xi − x̄)2
Sa hant que x̄ = , ȳ = et σx =
2
'est la varian e de "x", pour "y"
n n n
2
Σxi
'est la même hose. On peut aussi mettre σx2 = − x̄2 .
n
Σ(xi − x̄)(yi − ȳ)
La ovarian e σxy = don la varian e de x est tout simplement la ova-
n
rian e σxx ar :
Σxi yi Σx2i
σxy = − x̄ȳ =⇒ σxx = − x̄2 .
n n
σxy
Le a= 2
σx
δE
On a E = Σ(yi − (axi + b))2 , pour minimiser ette somme, il faut re her her en main-
δb

2 M.Mendjel
Université Badji Mokhtar Annaba Promotion : Master 1 spé ialité GADM
Département d'informatique Année 2020/2021

tenant "a" omme onstante.

δE
=⇒ = 2(−1)Σ(yi − (axi + b)).
δb
δE
Et = −2Σ(yi − (axi + b))xi en maintenant "b" omme onstante et omme l'obje tif
δa
δE δE
'est de minimiser E, don on doit poser = 0 et = 0.
δb δa
On va montrer que la droite Dy/x : y = ax + b passe par G(x̄ȳ) don on va poser :
δE
= 0 ⇐⇒ −2Σni=1 (yi − (axi + b)) = 0ondivisepar(−2) e qui donne.
δb
⇐⇒ Σni=1 (yi − (axi + b)) = 0
⇐⇒ Σni=1 yi − Σni=1 (axi + b) = 0
⇐⇒ Σni=1 yi = Σni=1 (axi + b)
⇐⇒ Σni=1 yi = aΣni=1 xi + Σni=1 b
Σn yi Σn xi nb
⇐⇒ i=1 = a i=1 + .
n n n n
Σni=1 yi Σ xi
On sait que = ȳ et i=1 = x̄, on obtient ȳ = ax̄ + b, e résultat traduit que le
n n
point G(x̄ȳ) appartient bien à la droite D. G est le entre de gravité du nuage de points.
δE
Si on pose : = −2Σni=1 (yi − (axi + b))xi .
δa
δE
= 0 ⇒ −2Σni=1 (yi − (axi + b))xi = 0
δa
⇒ Σni=1 (xi yi − (ax2i + bxi ) = 0
⇒ Σni=1 xi yi = Σni=1 ax2i + Σni=1 bxi
On a b= ȳ − ax̄
⇒ Σni=1 xi yi = Σni=1 ax2i + Σni=1 (ȳ − ax̄)xi
⇒ Σni=1 xi yi = Σni=1 ax2i + Σni=1 xi ȳ − Σni=1 axi x̄
Σni=1 xi yi Σni=1 x2i Σni=1 xi Σni=1 xi
⇒ =a + ȳ − ax̄
n n n n
n n 2
Σi=1 xi yi Σi=1 xi 2
⇒ = a( − x̄ ) + x̄ȳ
n n
Σn x2 Σn xi yi
⇒ a( i=1 i − x̄2 ) = i=1 − x̄ȳ
n n
Σn xi yi Σn x2
On sait que i=1 − x̄ȳ ⇔ σxy et i=1 i − x̄2 ⇔ σx2
n n
σxy
⇒a= 2.
σx

Exemple Soit le ouple de données suivant :

xi yi
25 27
28 28
30 28
30 30
35 31
F F

3 M.Mendjel
Université Badji Mokhtar Annaba Promotion : Master 1 spé ialité GADM
Département d'informatique Année 2020/2021

Sa hant que xi est la variable expli ative,

yi est la variable à expliquer.
La droite de régression à la forme suivante : yi = α + βxi + ǫ β (le a) et α (le b) représente
les paramètres du modèle, β est appelé la pente et α 'est la onstante.
Question : Estimer les paramètres du modèle ou bien estimer les oe ients de régres-
sion ou bien trouver l'équation des moindres arrés ou bien trouver l'équation de la droite
de régression simple.
Pour estimer α noté α̂ et β̂ pour β on suppose que ǫ = 0 .
σxy
β̂ = 2 et α̂ = ȳ − β̂ x̄
σx
Σni=1 xi
x̄ = = (25 + 28 + 30 + 30 + 35)/5 = 148/5 = 29, 6
n
n
Σ yi
ȳ = i=1 = (27 + 28 + 28 + 30 + 31)/5 = 144/5 = 28, 8
n
n
Σ (xi − x̄)2
σx2 = i=1 = 53, 2/5 = 10, 64
n
1
σxy = Σni=1 (xi − x̄)(yi − ȳ) = 21,6/5 = 4,32
n
4, 32
β̂ = = 0, 406
10, 64
α̂ = 28, 8 − 0, 406 × 29, 6 = 16,782
ŷ = 16, 782 + 0, 406xi

Le tableau des valeurs est omme suit :

xi yi (xi − x̄) (xi − x̄)2 (yi − ȳ) (xi − x̄)(yi − ȳ)

25 27 -4,6 21,16 -1,8 8,28
28 28 -1,6 2,56 -0,8 1,28
30 28 0,4 0,16 -0,8 0,32
30 30 0,4 0,16 1,2 0,48
35 31 5,4 29,16 2,2 11,88

Deuxième méthode On peut aussi utiliser le tableau suivant :

xi yi x2i xi yi
25 27 625 675
28 28 784 784
30 28 900 840
30 30 900 900
35 31 1225 1085
x̄ =29,6 ȳ =28,8 Σ =4434 Σ =4284

4 M.Mendjel
Université Badji Mokhtar Annaba Promotion : Master 1 spé ialité GADM
Département d'informatique Année 2020/2021

σxy
β̂ =
σx2
α̂ = ȳ − β̂ x̄
Σn x2
σx2 = i=1 i − x̄2
n
2 4434
⇒ σx = − (29, 6)2
5
⇒ σx2 = 10, 64
Σn xi yi
σxy = i=1 ¯
− xȳ
n
4284
⇒ σxy = − (29, 6 × 28, 8)
5
⇒ σxy = 4, 32
4, 32
β̂ = = 0, 406
10, 64
α̂ = 28, 8 − (0, 406 × 29, 6) = 16, 782
L'équation de la droite de régression est don la suivante :

ŷ = 16, 782 + 0, 406xi

5 M.Mendjel