Régression linéaire avec une seule variable

Modèle de représentation
 Régression linéaire avec une seule variable
Modèle de représentation
 Régression linéaire avec une seule variable
Modèle de représentation

280

1250
 Régression linéaire avec une seule variable
Modèle de représentation

280

1250
 Régression linéaire avec une seule variable
Modèle de représentation

280

1250
 Régression linéaire avec une seule variable
Modèle de représentation

m examples

x(1) = 2104 y(1) = 460

x(2) = 1416 y(2) = 232

(x(i),y(i)) : ith training example

 Régression linéaire avec une seule variable
Modèle de représentation
Comment représenter h

X Hypothèse Y: Valeur estimé

 Régression linéaire avec une seule variable
Fonction de coût
 Régression linéaire avec une seule variable
Fonction de coût
 Régression linéaire avec une seule variable
Fonction de coût

h ( x)  1  0.5 x

h ( x)  1.5  0 x  1.5 h ( x)  0.5 x

 Régression linéaire avec une seule variable
Fonction de coût Pour l’exemple i
h ( x (i ) )  y ( i )

(h ( x (1) )  y (1) ), (h ( x (2) )  y (2) ),..., h ( x ( m ) )  y ( m )

L’erreur global du modèle est la somme des erreurs de
chaque exemple d’apprentissage

 h (x )  y (1) 
m
(1)

i 1

Par souci de simplification nous prenons le carrée de la

Comment estimer 0 et 1 ? moyenne
1 m

2m i 1
 h ( x )  y 
(i ) (i ) 2
Erreur quadratique moyenne
 Régression linéaire avec une seule variable
Fonction de coût : intuition 1

où 0 = 0

avec h (x(i))=1 = x(1)

 Régression linéaire avec une seule variable
Fonction de coût : intuition 1

J 1  
1 m

2m i 1
 h ( x )  y  
(i ) (i ) 2 1 m

2m i 1
1 x  y 
(1) (1) 2


1 2
 0  02  02   02  0 1  0.5
2m
 Régression linéaire avec une seule variable
Fonction de coût : intuition 1

 
h x    y  
i i

y (i )

 
h x  
i

J  0.5  
1
2m
 (0.5  1) 2  (1  2) 2  (1.5  3) 2 
1  0

1 3.5
 3.5    0.58 J (0)  ?
2*3 6
 Régression linéaire avec une seule variable
Fonction de coût : intuition 1

1  0
J  0 
2m

1 2
1  22  32   14  2.3
1
6 J (0)  ?
 Régression linéaire avec une seule variable
Fonction de coût : intuition 1

1  1

J 1  0 1  0
J (0)  ?
 Régression linéaire avec une seule variable
Fonction de coût : intuition 1

1  1
1  0.75

1  0.5

1  1

minimum J (1 )
1
 Régression linéaire avec une seule variable
Fonction de coût : intuition 2
 Régression linéaire avec une seule variable
Fonction de coût : intuition 2

 0  50
1  0.06

 0 , 1 ?
 Régression linéaire avec une seule variable
Fonction de coût : intuition 2

J ( 0 , 1 )
 Régression linéaire avec une seule variable
Fonction de coût : intuition 2 Contour plot

J ( 0 , 1 )
h ( x)

 0 , 1
 Régression linéaire avec une seule variable
Fonction de coût : intuition 2 Contour plot

h ( x)

 0 , 1
 Régression linéaire avec une seule variable
Fonction de coût : intuition 2 Contour plot

h ( x)

 0 , 1
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
J  0 , 1 ,...,  n 

min J  0 , 1 ,...,  n 
1 , 2 ,.. n

on peut commencer par  0 ,  1    0, 0 

 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Algorithm
 Régression linéaire avec une seule variable
Gradient Descent Intuition

Dérivé :
déplacement
min J  0 , 1 ,...,  n 
1 , 2 ,.., n Vitesse
i  R i  1,..n d’apprentissage
 Régression linéaire avec une seule variable
Gradient Descent Intuition

J (1 ) 1  R 1 : 1   J 1 
1

J 1   0
1

1 : 1   (nombre positif )

1 dim inu progressivement

1
 Régression linéaire avec une seule variable
Gradient Descent Intuition

J (1 ) 1  R 1 : 1   J 1 
1

J 1   0
1

1 : 1   (nombre négatif )

1 augmente progressivement
1
 Régression linéaire avec une seule variable
Gradient Descent Intuition

J (1 )

Minimum

Diverge

J (1 )
 Régression linéaire avec une seule variable
Gradient Descent Intuition
 Régression linéaire avec une seule variable
Gradient Descent Intuition

Minimum
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression

Fonction convexe
Bowl Shape
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec une seule variable
Gradient Descent for linear regression
 Régression linéaire avec plusieurs variables
Principe

Variable : Variable :
- Explicative - Expliqué
- Exogène - Endogène
- Input - Output
- entrée - réponse
 Régression linéaire avec plusieurs variables
Principe

X1 X2 X3 X4 Y

m examples
 Régression linéaire avec plusieurs variables
Principe

h  x    0  1 x1   2 x2  3 x3   4 x4

Example :
h  x   80  0.1x1  0.012 x2  3.25 x3  2.48 x4
size feet Nb of floors age
 Régression linéaire avec plusieurs variables
Principe
 Régression linéaire avec plusieurs variables
Principe
 Régression linéaire avec plusieurs variables
Principe
 Régression linéaire avec plusieurs variables
Principe
 Régression linéaire avec plusieurs variables
Principe
 Régression linéaire avec plusieurs variables
Principe
 Régression linéaire avec plusieurs variables
Gradient Descent pour RLM
 Régression linéaire avec plusieurs variables
Gradient Descent pour RLM
 Régression linéaire avec plusieurs variables
Gradient Descent pour RLM
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression polynomiale
Régression
Régressionpolynomiale
polynomiale
Régression polynomiale
Régression polynomiale