Leçon : Méthode des Moindres Carrés et
Régression Linéaire
Professeur de Data Science
Janvier 2025
Objectifs de la leçon
L’objectif de cette leçon est de comprendre les bases mathématiques de la
méthode des moindres carrés, de la régression linéaire et de leur application
dans des problèmes pratiques de Data Science. Nous aborderons :
• La formulation mathématique de la régression linéaire.
• La méthode des moindres carrés pour l’estimation des paramètres.
• L’application de ces concepts dans des projets de Data Science.
1 Méthode des Moindres Carrés
La régression linéaire consiste à ajuster un modèle linéaire aux données. Le
modèle le plus simple de régression linéaire est :
y = β0 + β1 x + ϵ
où :
• y est la variable dépendante que nous voulons prédire.
• x est la variable indépendante.
• β0 est l’ordonnée à l’origine (intercept).
1
• β1 est le coefficient associé à la variable indépendante x.
• ϵ est l’erreur ou le résidu (la différence entre la valeur observée et la
valeur prédite).
L’objectif est de trouver les valeurs de β0 et β1 qui minimisent l’erreur
entre les valeurs prédites et les valeurs réelles. Pour ce faire, on utilise la
**méthode des moindres carrés**, qui consiste à minimiser la somme des
carrés des erreurs (SSE) :
n
X
SSE = (yi − ŷi )2
i=1
où ŷi = β0 + β1 xi est la prédiction pour yi .
Formulation des équations pour β0 et β1 Pour minimiser le SSE, on dérive
l’expression par rapport à β0 et β1 , puis on résout le système d’équations
obtenu. Les solutions sont données par les formules suivantes :
n ni=1 xi yi − ni=1 xi ni=1 yi
P P P
ˆ
β1 =
n ni=1 x2i − ( ni=1 xi )2
P P
βˆ0 = ȳ − βˆ1 x̄
où :
• x̄ est la moyenne des valeurs de x,
• ȳ est la moyenne des valeurs de y.
Ces formules donnent les estimations des paramètres β0 et β1 qui min-
imisent l’erreur.
2 Liaison avec la Data Science
La régression linéaire est une méthode clé en **Data Science** pour prédire
une variable continue à partir d’une ou plusieurs variables indépendantes.
Voici quelques liens entre les concepts mathématiques et leur utilisation en
Data Science :
2
• Prédiction des variables continues : En Data Science, nous util-
isons la régression linéaire pour prédire des valeurs continues. Par
exemple, prédire le prix des maisons en fonction de caractéristiques
comme la superficie, le nombre de chambres, etc.
• Ajustement de modèles : La méthode des moindres carrés est utilisée
pour ajuster des modèles aux données réelles et minimiser l’erreur de
prédiction.
• Analyse exploratoire : Avant d’appliquer un modèle de régression,
nous réalisons souvent une analyse des corrélations entre les variables
indépendantes et la variable dépendante.
3 Exemples d’Applications en Data Science
Exemple 1 : Prédiction du prix des maisons
Supposons que vous ayez un jeu de données contenant des informations sur
des maisons, avec deux variables :
• x : la superficie en mètres carrés,
• y : le prix de la maison.
Nous pouvons utiliser la régression linéaire pour prédire le prix y en fonc-
tion de la superficie x, en appliquant la méthode des moindres carrés.
Exemple 2 : Régression Multiple
Dans les problèmes réels, nous utilisons souvent plusieurs variables indépendantes
pour prédire une variable dépendante. Par exemple, prédire le prix des
maisons en fonction de la superficie, du nombre de chambres, de l’emplacement,
etc.
Le modèle devient alors :
y = β0 + β1 x1 + β2 x2 + · · · + βp xp + ϵ
La méthode des moindres carrés s’étend également à la régression multi-
ple.
3
4 Exercices
Voici quelques exercices pour mettre en pratique ce que nous avons appris.
Exercice 1 : Résolution du Système d’Équations Linéaires
Résolvez le système d’équations suivant en utilisant la méthode des moindres
carrés :
4x + 2y = 12
−3x + 5y = 7
Utilisez la méthode de substitution ou d’élimination pour résoudre ce système.
Exercice 2 : Multiplication de Matrices
Multipliez les matrices suivantes :
3 1 1 2
A= , B=
2 4 3 4
Expliquez le résultat de cette multiplication.
Exercice 3 : Implémentation de la Régression Linéaire
en Data Science
Utilisez un jeu de données sur les maisons et appliquez la régression linéaire
pour prédire le prix en fonction de la superficie. Implémentez cela en Python
en utilisant la méthode des moindres carrés. Voici un lien vers le jeu de
données : [Link]
Exercice 4 : Régression Linéaire Multiple
Utilisez un jeu de données comme le Boston Housing Dataset pour réaliser
une régression linéaire multiple. Prédisez le prix des maisons en fonction
de plusieurs variables (superficie, nombre de chambres, etc.). Comparez les
coefficients obtenus avec ceux d’une bibliothèque comme scikit-learn.
4
Exercice 5 : Optimisation de Modèle avec Gradient De-
scendant
Implémentez un algorithme de gradient descendant pour résoudre un problème
de régression linéaire. Comparez les résultats obtenus avec ceux de la méthode
des moindres carrés.
5 Conclusion
Dans cette leçon, nous avons exploré la méthode des moindres carrés et son
application en régression linéaire. Nous avons vu comment minimiser l’erreur
entre les valeurs observées et les valeurs prédites à l’aide de cette méthode,
et comment elle est utilisée dans des problèmes réels de Data Science pour
prédire des variables continues. Nous avons également préparé des exercices
pratiques pour mettre en œuvre ces concepts.
