On appelle droite des moindres carrées ou droite de regression la droite qui rend
minimal la somme des écarts entre les points observés (xi,yi) et les point sur la
droite notés (xi*,yi*)
La méthode des moindres carrés vise à expliquer un nuage de points par une droite
qui lie X à Y, cad Y = aX + b telle que la distance matérialise lerreur, cad la
différence entre le point réellement observé et le point present sur la droite.
La méthode consiste à chercher les valeurs de a et b qui minimise la somme des
erreurs au carré
on pose U(a,b) = somme(i=1,i=n)(ei*2) avec ei : erreur commise sur chaque
observation cad ei = |yi-yi| = |yi-axi-b| pour tout i dans 1...n On cherche à
minimiser U on a la condition de minimisation suivante :
dU(a,b)/da = dU(a,b)/db = 0 avec U(a,b) = somme(i=1,i=n)((yi-axi-b)2) (donc comme U
>= 0 alors (a,b) est un min ) En effet Hess(U(a,b)) est definie positive car det
(Hess(U(a,b))) = 4n somme(i=1,i=n) ( xi2) - 4 * ( somme(i=1,i=n) ( xi) ) 2 =
4n2*Var(x) > 0
lequation dU(a,b)/db = 0 donne -2somme(i=1,i=n)(yi-axi-b) = 0 ce qui implique que :
somme(i=1,i=n)(yi) - a somme(i=1,i=n) (xi) - b *somme(i=1,i=n) (1) = 0
donc moyenne(y) - a*moyenne(x)- b = 0 ( ici moyenne(y) := y barre , et
moyenne(x) := x barre) on a donc b = moyenne(y) - a * moyenne(x)
cherchons desormais a
lequation dU(a,b)/da = 0 donne -2somme(i=1,i=n) (xi(yi-axi-b)) = 0
ce qui implique : somme(i=1,i=n) (xiyi) - asomme(i=1,i=n)(xi**2) - bsomme(i=1,i=n)
(xi) = 0 () En injectant b = moyenne(y) - a * moyenne(x) dans () on obtient :
somme(i=1,i=n) (xiyi) - asomme(i=1,i=n)(xi**2) - (moyenne(y) - a * moyenne(x))
somme(i=1,i=n)(xi) = 0
soit : somme(i=1,i=n) (xiyi) - a*somme(i=1,i=n)(xi**2) - (moyenne(y) - a *
moyenne(x))*n moyenne(x) = 0
soit: a *( somme(i=1,i=n) (xi**2) - n (moyenne(x)**2) ) = somme(i=1,i=n) (xiyi) -
moyenne(y)nmoyenne(x)
dou :
a = ( somme(i=1,i=n) (xiyi) - n*moyenne(y)*moyenne(y) ) / ( somme(i=1,i=n)
(xi**2) - n*(moyenne(x))**2)
soit :
a = cov(x,y)/var(x)
donc la droite des moindres carrés est la droite dequation y = ax + b ou a =
cov(x,y)/var(x) et b = moyenne(y) - a * moyenne(x)