Abdessamad Youssfi Alaoui
[Link]@[Link]
Régression linéaire
Un modèle de régression linéaire simple est un modèle où on représente une variable
expliquée Y en fonction d'une variable explicative X en supposant que la fonction qui
relie les deux variables est linéaire.
Données 𝑋 = 𝑥 (1) , … , 𝑥 (𝑛) 𝑎𝑣𝑒𝑐 𝑥 (𝑖) 𝜖ℝ𝑑
Les classes correspondantes Y = 𝑦 (1) , … , 𝑦 (𝑛) 𝑎𝑣𝑒𝑐 𝑦 (𝑖) 𝜖ℝ
Régression linéaire
𝑑
𝑦 = 𝜃0 + 𝜃1 𝑥1 + 𝜃2 𝑥2 + ⋯ + 𝜃𝑑 𝑥𝑑 = 𝜃𝑖 𝑥𝑖
𝑖=0
Avec 𝑥0 = 1
Adapter le modèle en minimisant la somme des erreurs carrées
Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛
La modification se fait en gardant min 𝐽(𝜃)
𝜃
Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛
Soient 𝑥𝜖ℝ 𝑒𝑡 𝜃 = 𝜃0 , 𝜃1
Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛
Soient 𝑥𝜖ℝ 𝑒𝑡 𝜃 = 𝜃0 , 𝜃1
Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛
Soient 𝑥𝜖ℝ 𝑒𝑡 𝜃 = 𝜃0 , 𝜃1
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Initialiser les valeurs de 𝜃
Choisir des nouvelles valeurs de 𝜃 en minimisant 𝐽(𝜃)
Régression linéaire
Initialiser les valeurs de 𝜃
Choisir des nouvelles valeurs de 𝜃 en minimisant 𝐽(𝜃)
Régression linéaire
Initialiser les valeurs de 𝜃
Choisir des nouvelles valeurs de 𝜃 en minimisant 𝐽(𝜃)
Régression linéaire
Initialiser 𝜃
Répéter jusqu’à la convergence
𝜕𝐽(𝜃)
𝜃𝑗 ← 𝜃𝑗 − 𝛼 pour j=0,…,n et 𝛼 le taux d’apprentissage
𝜕𝜃𝑗
Régression linéaire
𝑛
𝜕𝐽(𝜃) 𝜕 1 𝑖 (𝑖) 2
= ℎ𝜃 (𝑥 ) − 𝑦
𝜕𝜃𝑗 𝜕𝜃𝑗 2𝑛
𝑖=1
𝜕 1 (𝑖) 2
𝑛 𝑑
= 𝑖=1 𝜃 𝑥
𝑘=0 𝑘 𝜃 − 𝑦 (𝑖)
𝜕𝜃𝑗 2𝑛
1 𝑛 𝑑 (𝑖) 𝜕 𝑑 (𝑖)
= 𝑖=1 𝜃 𝑥
𝑘=0 𝑘 𝜃 − 𝑦 (𝑖) 𝜃 𝑥
𝑘=0 𝑘 𝑘 − 𝑦 (𝑖)
𝑛 𝜕𝜃𝑗
1 𝑛 𝑑 (𝑖) (𝑖)
= 𝑖=1 𝑘=0 𝜃𝑘 𝑥𝜃 − 𝑦 (𝑖) 𝑥𝑗
𝑛
Régression linéaire
Initialiser 𝜃
Répéter jusqu’à la convergence
1 𝑛 (𝑖)
𝜃𝑗 ← 𝜃𝑗 − 𝛼 𝑖=1 ℎ𝜃 (𝑥 𝑖 ) − 𝑦 (𝑖) 𝑥𝑗 pour j=0,…,n et 𝛼 le taux d’apprentissage
𝑛
Pour la mise à jour
À chaque itération de GD, en calcule ℎ𝜃 (𝑥 𝑖 )
Utiliser cette valeur pour la modification de 𝜃𝑗
La condition de convergence 𝜃𝑛𝑒𝑤 − 𝜃𝑜𝑙𝑑 2 <𝜀
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Choix de 𝜃
α trop petite α trop grande
Convergence lent La valeur de 𝐽 𝜃 augmente
Peut dépasser le minimum
Peut ne pas converger
Peut même diverge
À chaque itération, la valeur de 𝐽 𝜃 doit diminuer
Sinon il faut ajuster α
Extension de la Régression linéaire pour des modèle complexe
Les données X peuvent être:
Des données quantitatives
Transformer ce données
Exp, racine carré, carré, etc…
Transformation polynomiale
exemple 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + 𝛽3 𝑥3
Codage fictif des entrées catégoriques
Basis expansions
Interactions entre variables
exemple 𝑥3 = 𝑥1 𝑥2
Modèles de fonction de base linéaire
𝜙0 𝑥 = 1
Pour le cas linéaire 𝜙𝑗 𝑥 = 𝑥𝑗
Modèles de fonction de base linéaire
Fonction polynomiale
Fonction Gaussienne
Modèles de fonction de base linéaire
Fonction sigmoïdale
Vectorisation
Soit la fonction suivante
ET
Donc
Vectorisation
La fonction de l’erreur
Vectorisation
La fonction de l’erreur
Overfiting: 𝐽(𝜃) ≈ 0
Régularisation
Une méthode pour contrôler automatiquement la complexité de l'hypothèse apprise
Idée: pénaliser pour les grandes valeurs de 𝜃𝑗
Peut incorporer dans la fonction de coût
Fonctionne bien quand on a beaucoup de fonctionnalités, chacune contribuant un peu à
prédire l'étiquette.
Peut également résoudre le problème en éliminant les fonctionnalités (manuellement ou via la
sélection du modèle)
Régularisation
𝜆 est le paramètre de régularisation (𝜆 ≥ 0)
Pas de régularisation pour 𝜃0
Régularisation
La modification se fait en gardant min 𝐽(𝜃)
𝜃
Gradient
En peut écrire
Régularisation
Pour incorporer la régularisation
𝜕
Peut dériver de la même manière, en résolvant 𝐽 𝜃 =0
𝜕𝜃
Peut prouver que pour λ> 0, l'inverse existe dans cette équation
