Scribd
Importer
995 vues6 pages

XOR Rétropropagation

Cet exemple présente l'algorithme de rétropropagation du gradient de l'erreur pour un perceptron multicouche. Il détaille les calculs pour la première itération sur un jeu de données d'apprentissage.

Transféré par

Nassr eddine
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
995 vues6 pages

XOR Rétropropagation

Cet exemple présente l'algorithme de rétropropagation du gradient de l'erreur pour un perceptron multicouche. Il détaille les calculs pour la première itération sur un jeu de données d'apprentissage.

Transféré par

Nassr eddine
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Exemple : XOR (Algorithme de rétropropagation du gradient de l’erreur)

Fonction d’activation sigmoïde : 1


b1

f ( s) 
1
1  e s
x1
w11  v1
w12


b3
Base d’apprentissage : 1
 y
w21
x1 x2 d v2
0 0 0
x2 w22

0 1 1
1 b2
1 0 1
1 1 0

Taux d’apprentissage : Valeurs initiales des poids :

 = 0,1 w11 w21 b1 w12 w22 b2 v1 v2 b3


0,5 0,4 - 0,8 0,9 1 0,1 - 1,2 1,1 - 0,3

1ère itération :

x1 = 0 , x2 = 0 , d = 0

s1 = w11.x1 + w21.x2 + b1 1
y
= 0,5 . 0 + 0,4 . 0 – 0,8 1  e  s3
= - 0,8 1

1  e 0,0946
1 = 0,4764
h1 
1  e  s1
1 e=d–y

1  e 0 ,8 =0 - 0,4764
= 0,3100 = - 0,4764

s2 = w12.x1 + w22.x2 + b2 1 2
E e
= 0,9 . 0 + 1 . 0 + 0,1 2
= 0,1 1
 (  0,4764 ) 2
2
1 = 0,1135
h2 
1  e s2
1

1  e  0 ,1
= 0,5250

s3 = v1.h1 + v2.h2 + b3
= - 1,2 . 0,3100 + 1,1 . 0,5250 - 0,3
= - 0,0946

1/6
E E e y s3 E 2 1 2
  e E e
v1 e y s3 v1 e 2 2
E E e y s3 e
   0,4764
v 2 e y s3 v 2
E E e y s3
 e
b3 e y s3 b3 1 e=d–y
y
E
  0,4764 . (  1) . 0 , 2494 . 0 ,3100 y e  s3 1
v 1  y
 0,0368
s3 ( 1  e  s3 ) 2 1  e  s3
e 0,0946

E ( 1  e 0,0946 ) 2
  0,4764 . (  1) . 0 , 2494 . 0 ,5250
v 2  0 , 2494
 0,0624
s3
 h1 s3 = v1.h1 + v2.h2 + b3
E v 1
  0,4764 . (  1) . 0 , 2494 . 1
b3  0 ,3100
 0,1188
s3
 h2 s3 = v1.h1 + v2.h2 + b3
v 2
 0 ,5250

s3
1 s3 = v1.h1 + v2.h2 + b3
b3

E E e y s3 h1 s1 s3


  v1 s3 = v1.h1 + v2.h2 + b3
w11 e y s3 h1 s1 w11 h1
E E e y s3 h1 s1   1,2

w 21 e y s3 h1 s1 w 21
E E e y s3 h1 s1 h1 e  s1 1
  h1 
b1 e y s3 h1 s1 b1 s1 ( 1  e  s1 ) 2 1  e  s1
e 0 ,8

E ( 1  e 0 ,8 ) 2
  0,4764 . (  1) . 0 , 2494 . (  1,2) . 0 , 2139 . 0
w11  0 , 2139
0
s1
 x1 s1 = w11.x1 + w21.x2 + b1
E w11
  0,4764 . (  1) . 0 , 2494 . (  1,2) . 0 , 2139 . 0
w 21 0
0
s1
E  x2 s1 = w11.x1 + w21.x2 + b1
  0,4764 . (  1) . 0 , 2494 . (  1,2) . 0 , 2139 . 1 w 21
b1 0
  0,0305
s1
1 s1 = w11.x1 + w21.x2 + b1
b1

2/6
E E e y s3 h 2 s2 s3
  v2 s3 = v1.h1 + v2.h2 + b3
w12 e y s3 h 2 s2 w12 h 2
E E e y s3 h2 s2  1,1

w 22 e y s3 h2 s2 w 22
E E e y s3 h 2 s 2 h 2 e  s2 1
  h2 
b2 e y s3 h2 s2 b2 s 2 ( 1  e  s 2 ) 2 1  e s2
e  0 ,1

E ( 1  e  0 ,1 ) 2
  0,4764 . (  1) . 0 , 2494 . 1,1 . 0 , 2494 . 0
w12  0 , 2494
0
s 2
 x1 s2 = w12.x1 + w22.x2 + b2
E w12
  0,4764 . (  1) . 0 , 2494 . 1,1 . 0 , 2494 . 0
w 22 0
0
s 2
E  x2 s2 = w12.x1 + w22.x2 + b2
  0,4764 . (  1) . 0 , 2494 . 1,1 . 0 , 2494 . 1 w 22
b1 0
 0,0326
s 2
1 s2 = w12.x1 + w22.x2 + b2
b 2

E
w11  w11    0 ,5  0 ,1 . 0  0 ,5
w11
E
w 21  w 21    0 , 4  0 ,1 . 0  0 , 4
w 21
E
b1  b1     0 ,8  0 ,1 . (  0 ,0305 )   0 ,7970
b1
E
w12  w12    0 ,9  0 ,1 . 0  0 ,9
w12
E
w 22  w 22    1  0 ,1 . 0  1
w 22
E
b2  b 2    0 ,1  0 ,1 . ( 0 ,0326 )  0 ,0967
b 2
E
v1  v1     1 , 2  0 ,1 . 0 ,0368   1 , 2037
v 1
E
v2  v2    1 ,1  0 ,1 . 0 ,0624  1 ,0938
v 2
E
b3  b3     0 ,3  0 ,1 . 0 ,1188   0 ,3119
 b3

3/6
x1 = 0 , x2 = 1 , d = 1

s1 = - 0,3970 s1 E
0 0
w11 w12
h1 = 0,4021
s1 E
s2 = 1,0967 1   0,0253
w 21 w 22
h2 = 0,7497
s1 E
1   0,0253
s3 = 0,0241 b1 b 2

y = 0,5060 s3 w11  0 ,5


 1 ,0938
h 2
e = 0,4940 w 21  0 ,3929
h 2
E = 0,122  0 ,1877 b1   0 ,8005
s 2
E w12  0 ,9
 0 , 4940 s 2
e 0
w12
w 22  1 ,0025
e
1
y s2
1 b2  0 ,0993
w22
y v1   1 ,1987
 0 , 2500 s 2
s3 1
b 2 v 2  1 ,103
s3
 0 , 4021 E
v 1 b3   0 , 2995
  0,0496
v 1
s3
 0 ,7497 E
v 2   0,0926
v 2
s3
1 E
b3   0,1235
b3
s3
  1 , 2037 E
h1 0
w11
h1
 0 , 2404
s1 E
 0,0357
w 21

E
 0,0357
b1

4/6
x1 = 1 , x2 = 0 , d = 1

s1 = - 0,3005 s1 E
1  0 ,0272
w11 w12
h1 = 0,4254
s1 E
s2 = 0,9993 0 0
w 21 w 22
h2 = 0,7309
s1 E
1   0,0272
s3 = - 0,0033 b1 b 2

y = 0,4992 s3 w11  0 , 4963


 1,103
h 2
e = 0,5008 w 21  0 ,3929
h 2
E = 0,1254  0 ,1967 b1   0 ,8042
s 2
E w12  0 ,9
 0 ,5008 s 2
e 1
w12
w 22  1 ,0025
e
1
y s 2
0 b2  0 ,1020
w22
y v1   1 ,1934
 0 , 2500 s 2
s3 1
b 2 v 2  1 ,1122
s3
 0 , 4254 E b3   0 , 2870
v 1   0,0533
v 1
s3
 0 ,7309 E
v 2   0,0915
v 2
s3
1 E
b3   0,1252
b3
s3
  1 ,1987 E
h1  0 ,0367
w11
h1
 0 , 2444 E
s1 0
w 21

E
 0,0367
b1

5/6
x1 = 1 , x2 = 1 , d = 1

s1 = 0,0850 s1 E
1  0 ,0150
w11 w12
h1 = 0,5212
s1 E
s2 = 2,0045 1  0 ,0150
w 21 w 22
h2 = 0,8813
s1 E
1  0 ,0150
s3 = 0,0711 b1 b 2

y = 0,5178 s3 w11  0 ,5002


 1 ,1122
h 2
e = - 0,5178 w 21  0 , 4006
h 2
E = 0,1340  0 ,1046 b1   0 ,8003
s 2
E w12  0 ,9
 0 ,5178 s 2
e 1
w12
w 22  1 ,001
e
1
y s2
1 b2  0 ,1005
w22
y v1   1 , 2001
 0 , 2497 s 2
s3 1
b 2 v 2  1 ,1008
s3
 0 ,5212 E
v 1 b3   0 , 2999
 0,0674
v 1
s3
 0 ,8813 E
v 2  0,1139
v 2
s3
1 E
b3  0,1293
b3
s3
  1,1934 E
h1   0 ,0385
w11
h1
 0 , 2496 E
s1   0 ,0385
w 21

E
  0 ,0385
b1

6/6

Vous aimerez peut-être aussi