DEA - EEAT

Cours Intelligence Artificielle

INTRODUCTION

Une origine... biologique

Comment l'homme fait-il pour raisonner, parler, calculer, apprendre... ? Comment s'y prendre pour
crer une intelligence artificielle ? Deux types d'approches ont t essentiellement explors :

Approches adopte en recherche en Intelligence Artificielle

procder d'abord l'analyse logique des tches relevant de la cognition humaine et

tenter de les reconstituer par programme. C'est cette approche qui a t privilgie
par l'Intelligence Artificielle symbolique et la psychologie cognitive classique. Cette
dmarche est tiquete sous le nom de cognitivisme.

puisque la pense est produite par le cerveau ou en est une proprit, commencer par
tudier comment celui-ci fonctionne. C'est cette approche qui a conduit l'tude des
rseaux de neurones formels. On dsigne par connexionnisme la dmarche consistant
vouloir rendre compte de la cognition humaine par des rseaux de neurones.

La seconde approche a donc men la dfinition et l'tude de rseaux de neurones formels qui
sont des rseaux complexes d'units de calcul lmentaires interconnectes. Il existe deux
courants de recherche sur les rseaux de neurones : un premier motiv par l'tude et la
modlisation des phnomnes naturels d'apprentissage pour lequel la pertinence biologique est
importante ; un second motiv par l'obtention d'algorithmes efficaces ne se proccupant pas de la
pertinence biologique. Nous nous plaons du point de vue du second groupe. En effet, bien que les
rseaux de neurones formels aient t dfinis partir de considrations biologiques, pour la
plupart d'entre eux, et en particulier ceux tudis dans ce cours, de nombreuses caractristiques
biologiques (le temps, la mmoire...) ne sont pas prises en compte. Toutefois, nous donnons, dans
la suite de cette introduction, un bref aperu de quelques proprits lmentaires de
neurophysiologie qui permettent au lecteur de relier neurones rels et neurones formels. Nous
donnons ensuite un rapide historique des rseaux de neurones.

La physiologie du cerveau montre que celui-ci est constitu de cellules (les neurones)
interconnectes. Les principales tapes de cette dcouverte sont :

Dcouvertes

Van Leuwenhook (1718) : premire description fidle de ce qu'on appellera plus tard
les axones ;

Dutrochet (1824) : observation du corps cellulaire des neurones ;

Valentin : dcouverte des dendrites ;

Deiters (1865) : image actuelle de la cellule nerveuse ;

Sherington (1897) : les synapses ;

 Cours Intelligence Artificielle

les neuro-transmetteurs (premire moiti du 20me sicle).

Modle du neurone biologique

Les neurones reoivent les signaux (impulsions lectriques) par des extensions trs ramifies de
leur corps cellulaire (les dendrites) et envoient l'information par de longs prolongements (les
axones). Les impulsions lectriques sont rgnres pendant le parcours le long de l'axone. La
dure de chaque impulsion est de l'ordre d'1 ms et son amplitude d'environ 100 mV.

Les contacts entre deux neurones, de l'axone une dendrite, se font par l'intermdiaire des
synapses. Lorsqu'une impulsion lectrique atteint la terminaison d'un axone, des neuromdiateurs
sont librs et se lient des rcepteurs post-synaptiques prsents sur les dendrites. L'effet peut
tre excitateur ou inhibiteur.

Chaque neurone intgre en permanence jusqu' un millier de signaux synaptiques. Ces signaux
n'oprent pas de manire linaire : il y a un effet de seuil.

Voici quelques informations propos des neurones du cerveau humain :

II. Informations diverses sur les neurones du cerveau humain

le cerveau contient environ 100 milliards de neurones.

on ne dnombre que quelques dizaines de catgories distinctes de neurones.

aucune catgorie de neurones n'est propre l'homme (cela serait trop beau !).

la vitesse de propagation des influx nerveux est de l'ordre de 100m/s, c'est dire bien
infrieure la vitesse de transmission de l'information dans un circuit lectronique.

on compte de quelques centaines plusieurs dizaines de milliers de contacts

synaptiques par neurone. Le nombre total de connexions est estim environ 10 15.

la connectique du cerveau ne peut pas tre code dans un "document biologique" tel
l'ADN pour de simples raisons combinatoires. La structure du cerveau provient donc
en partie des contacts avec l'environnement. L'apprentissage est donc indispensable
son dveloppement.

le nombre de neurones dcroit aprs la naissance. Cependant, cette affirmation

semble remise en question.
 Cours Intelligence Artificielle

on observe par contre une grande plasticit de l'axone, des dendrites et des contacts
synaptiques. Celle-ci est surtout trs importante aprs la naissance (on a observ
chez le chat un accroissement des contacts synaptiques de quelques centaines 12
000 entre le 10me et le 35me jour). Cette plasticit est conserve tout au long de
l'existence, bien qu'affaiblie lors du processus de vieillesse ; on parle alors de "rigidit
synaptique".

les synapses entre des neurones qui ne sont pas simultanment actifs sont affaiblis
puis limins.

il semble que l'apprentissage se fasse par un double mcanisme : des connections

sont tablies de manire redondantes et alatoires puis seules les connexions entre
des neurones simultanment actifs sont conservs (phase de slection) tandis que les
autres sont limins. On parle de stabilisation slective.

III. Un neurone seul

Un neurone est, comme vous l'avez vu, l'unit lmentaire de traitement d'un rseau de neurones.
Il est connect des sources d'information en entre (d'autres neurones par exemple) et renvoie
une information en sortie. Voyons comment tout cela s'organise.

III-1. Entres

On note (xi)1 <= i < k les k informations parvenant au neurone. De plus, chacune sera plus ou moins
valorise vis vis du neurone par le biais d'un poids. Un poids est simplement un coefficient w i li
l'information xi. La i-me information qui parviendra au neurone sera donc en fait wi*xi. Il y a
toutefois un "poids" supplmentaire, qui va reprsenter ce que l'on appelle le coefficient de biais.
Nous le noterons w0 et le supposerons li une information x0 = -1. Nous verrons plus tard son
utilit, dans la section Fonction d'activation.

Le neurone artificiel (qui est une modlisation des neurones du cerveau) va effectuer une somme
pondre de ses entres plutt que de considrer sparment chacune des informations. On dfinit
une nouvelle donne, in, par :

C'est en fait cette donne-l que va traiter le neurone. Cette donne est passe la fonction
d'activation, qui fait l'objet de la prochaine section. C'est d'ailleurs pour a que l'on peut parfois
appeler un neurone une unit de traitement.
 Cours Intelligence Artificielle

Modlisation du neurone artificiel

III-2. Fonction d'activation

La fonction d'activation, ou fonction de transfert, est une fonction qui doit renvoyer un rel proche
de 1 quand les "bonnes" informations d'entre sont donnes et un rel proche de 0 quand elles
sont "mauvaises". On utilise gnralement des fonctions valeurs dans l'intervalle rel [0,1].
Quand le rel est proche de 1, on dit que l'unit (le neurone) est active alors que quand le rel est
proche de 0, on dit que l'unit est inactive. Le rel en question est appel la sortie du neurone et
sera not a. Si la fonction d'activation est linaire, le rseau de neurones se rduirait une simple
fonction linaire.

En effet, si les fonctions d'activations sont linaires, alors le rseau est l'quivalent d'une
rgression multi-linaire (mthode utilise en statistiques) . L'utilisation du rseau de neurone est
toutefois bien plus intressante lorsque l'on utilise des fonctions d'activations non linaires.

En notant g la fonction d'activation, on obtient donc la formule donnant la sortie d'un neurone :

Remarquez que le coefficient de biais est inclus dans la somme, d'o la formule plus explicite :

Il y a bien sr beaucoup de fonctions d'activations possibles, c'est dire rpondant aux critres
que nous avons donns, toutefois dans la pratique il y en a principalement 2 qui sont utilises :

Les 2 fonctions de transfert les plus utilises

 Cours Intelligence Artificielle

La fonction de Heaviside

La fonction sigmode

La fonction de Heaviside est dfinie par :

si , 0 sinon.

Graphe de la fonction de Heaviside

La fonction sigmode est quand elle dfinie par :

Graphe de la fonction Sigmode

La fonction sigmode prsente l'avantage d'tre drivable (ce qui va tre utile par la suite) ainsi que
de donner des valeurs intermdiaires (des rels compris entre 0 et 1) par opposition la fonction
 Cours Intelligence Artificielle

de Heaviside qui elle renvoie soit 0 soit 1. Toutefois, les deux fonctions possdent un seuil. Celui de
la fonction de Heaviside est en x = 0 et vaut 1 alors que celui de la fonction sigmode est en 0
galement mais vaut 1/2.

Revenons notre neurone et demandons-nous quand est-ce que le seuil est atteint, ou dpass
dans le cas de la fonction sigmode. Il est dans tous les cas atteint quand in vaut 0.

C'est l qu'intervient rellement le coefficient de biais. Nous voyons donc que l'on atteint le seuil
de la fonction d'activation lorsque la somme pondre des informations d'entre vaut
le coefficient de biais. De plus :

o seuil vaut 1 si g est la fonction seuil, 0 si g est la fonction sigmode. Les proprits nonces ci-
dessus sont vraies grce la croissance des fonctions d'activations.

Maintenant, notons W = (wi)1 <= i <= n le vecteur dont les composantes sont les poids et X = (xi)1 <=
i <= n le vecteur dont les composantes sont les informations d'entres du neurone. Avec cette

notation on obtient :

Ceci dfinit un hyperplan d'un espace de dimension n. En fait, l'espace dont il est question est
l'espace des informations d'entres. De la mme manire que dans notre monde nous dcrivons
des points avec nos 3 coordonnes souvent notes (x,y,z), dans l'espace des informations d'entre
on note les coordonnes (x1, ..., xn). Un hyperplan est un espace de dimension n-1. Dans notre
monde, l'espace est de dimension 3 (car 3 coordonnes) et un hyperplan est donc un espace de
dimension 2. En dimension 3, un hyperplan est donc simplement un plan. En dimension 2, un
hyperplan est par consquent une droite.

Plaons-nous en dimension 2. Tracez donc 2 axes perpendiculaires. Maintenant, tracez une droite.
Vous voyez que cette droite spare le plan en 2 parties. A quoi cela sert-il ? En fait, un rseau de
neurone simple (nous le verrons plus loin) va permettre de classer les points du plan dans une
partie ou l'autre du plan grce cette droite, dans le cas de la dimension 2. Encore une fois, dans
ce cas-l, ceux qui seront dans une partie du plan appartiendront la premire classe et ceux qui
seront dans l'autre partie du plan (de l'autre ct de la droite) appartiendront la deuxime classe.

III-C. Activation et condition d'activation

 Cours Intelligence Artificielle

On dit que le neurone est actif lorsque in >= 0, autrement dit lorsque a = g(in) >= seuilg = g(0).
Similairement, on dit que le neurone est inactif lorsque in <= 0, autrement dit lorsque a = g(in)
<= seuilg = g(0).

III-D. Exemple en dimension 2 : la fonction boolenne OU

Dans ce cas, nous allons dcrire une entre par 2 informations. En effet, la fonction boolenne OU
prend 2 informations en entre (deux nombres qui peuvent valoir 0 ou 1 chacun) et retourne 1 si
l'un des deux au moins vaut 1. Ici, nous allons grce un neurone simuler cette fonction, en
rajoutant de la souplesse (en entre nous accepterons des nombres rels compris entre 0 et 1).

Tout d'abord, il faut que nous-mme sachions dcrire le fonctionnement. Nous pouvons dire que le
neurone pourra tre actif lorsque w1x1 + w2x2 >= 0.5, ce qui reprsente la partie des rels entre 0
et 1 qui est la plus proche de 1. Nous avons donc dj le seuil du neurone, qui sera ici 0,5. De plus,
on peut considrer que si x1 = x2 = 0.25, le neurone renverra 1. On va donc finalement choisir
comme poids w1 = w2 = 1 et comme nous l'avons dit, le coefficient de biais, aussi appel seuil,
w0 = 0.5.

Tracez les axes perpendiculaires puis la droite qui passe par les points (0.25,0) et (0,0.25). Tous
les points qui se trouvent en-dessous de la droite seront ceux pour lesquels le neurone renverra 0,
les autres seront ceux pour lesquels le neurone renverra 1.

En effet, prenons par exemple comme entres le couple (0.1,0.8). Le calcul fait par le neurone est
le suivant.

donc a = g(in) = 1.

Ainsi on remarque que le point (0.1,0.8) est un point pour lequel le neurone doit renvoyer la valeur
1 en sortie, car la somme pondre des entres est suprieure au seuil. Si l'on regarde sur le
dessin contenant la droite sparatrice que vous avez trac, on constate effectivement que ce point
l se situe bien dans la zone suprieure du plan que dlimite la droite.

Etant donn que la fonction OU renvoie 1 ou 0 gnralement, et non pas un rel de [0,1], la
fonction seuil suffira bien amplement pour notre neurone.

Nous avons ainsi entirement dtermin notre neurone. Ainsi, ce neurone prend les mmes valeurs
que la fonction boolenne OU, ce qui constitue une approximation parfaite de cette dernire.

Maintenant, essayez de reproduire cette dmarche pour la fonction XOR. La fonction boolenne
XOR renvoie 1 quand l'une de ses deux entres vaut 1, 0 sinon. Essayez donc de placer les points
pour lesquels x XOR y vaut 1 en noir et ceux pour lesquels x XOR y vaut 0 en gris clair. Essayez
 Cours Intelligence Artificielle

maintenant de tracer une droite sparant les points noirs des points blancs. Vous verrez alors que
c'est impossible. On voit donc les limitations du neurone seul. Qui plus est, le modle de rseau de
neurone qui va tre tudi dans la partie qui suit ne permet pas non plus de reprsenter la fonction
XOR, car il ne servira qu' obtenir plusieurs sorties au lieu d'une seule, chaque neurone faisant sa
partie du travail.

La fonction XOR n'est pas linairement sparable

A titre informatif, le modle qui vient d'tre prsent est celui tabli par McCulloch et Pitts en 1943.
Nous allons justement dans la partie qui suit tudier le modle du perceptron.

En rsum :

Un neurone est l'unit lmentaire de traitement d'un rseau de neurones ;

Un neurone est reli chacune de ses informations et chacune de ces liaisons

est attach un nombre rel, nomm poids ;

Un neurone possde un seuil, qui est modlis par une information de valeur -1
et un poids w0, o justement w0 est le seuil ;

Un neurone ne traite pas chaque information indpendamment, mais effectue la

somme des produits des informations par leur poids associ et traite cette
donne ;

Il existe plusieurs fonctions de transferts remplissant les conditions ncessaires ;

Quelle que soit la fonction de transfert, elle prendra l'image de la somme

pondre des informations, y compris le -w0 ;

La fonction boolenne OU peut tre approche par un seul neurone. Il en est de

mme pour la fonction ET ;

Une fonction de classification qui consiste en l'insertion d'un hyperplan sparant

les points appartenant une premire classe de ceux appartenant une seconde
est approchable par un neurone seul ;

Pour les fonctions pour lesquelles c'est impossible, il faut tablir un rseau de
neurones multicouche.
 Cours Intelligence Artificielle

IV. Rseau de neurones monocouche : le perceptron

Un rseau de neurones monocouche, aussi appel perceptron, est caractris de la manire

suivante.

Il possde n informations en entre ;

Il est compos de p neurones, que l'on reprsente gnralement aligns

verticalement. Chacun peut en thorie avoir une fonction d'activation diffrente. En
pratique, ce n'est gnralement pas le cas ;

Chacun des p neurones est connect aux n informations d'entre.

Le rseau de neurones possde ainsi n informations en entre et p sorties, chaque neurone

renvoyant sa sortie.

Pour la suite, on notera :

X = (xi)1 <= i <= n les n informations d'entre ;

wi,j pour 1 <= i <= n et 1 <= j <= p, le poids reliant l'information x i et le

neurone j puis aj l'activation du j-me neurone ;

w0,j le coefficient de biais, galement appel seuil, du j-me neurone ;

inj la donne d'entre (somme pondre) du j-me neurone.

On a donc l'quation suivante :

Chaque neurone de la couche donnera donc une sortie. Une utilisation courante est que chaque
neurone de la couche reprsente une classe. Pour un exemple X donn, on obtient la classe de cet
exemple en prenant la plus grande des p sorties. Essayons maintenant d'approfondir ce modle.

IV-1. Modlisation Matriciell

Avec la notation que nous avons dfinie pour les poids, on obtient ainsi une matrice W = (wi,j)(i,j) / 1
<= i <= n et 1 <= j <= p o le coefficient ligne i colonne j reprsente le coefficient liant la i-me
information au p-me neurone. Si on reprsente par A = (aj)1 <= j <= p la liste des p sorties du
rseau de neurone, on obtient l'quation matricielle suivante, en adaptant la fonction de transfert
notre nouvelle modlisation : on dfinit une nouvelle fonction g qui prend l'image d'un vecteur en
calculant l'image de chacune de ses composantes, et retourne un vecteur dont les composantes
sont les images des composantes de dpart.
 Cours Intelligence Artificielle

Cette modlisation n'est pas frquemment utilise mais reprsenter un rseau de neurones
monocouche par une matrice permet d'avoir une autre vision du problme.

IV-2. Evaluation : RdN(X)

L'valuation d'un exemple X = (xi)1 <= i <= n par un rseau de neurones donne un vecteur
p composantes. On dfinit la notation suivante.

o RdN(X) est un vecteur p composantes, W une matrice n lignes et p colonnes et X le vecteur

dont chacune des n composantes reprsente une information d'entre.

IV-3. Les diffrents types de perceptron

Il existe 2 types de perceptrons : les perceptrons feed-forward et les perceptrons rcurrents. Les
perceptrons rcurrents sont ceux qui alimentent leurs entres avec leurs sorties, alors que les
perceptrons feed-forward non.

IV-4. Sparation linaire et conditions d'approximabilit

Pour un perceptron dont les fonctions de transferts sont toutes la fonction seuil (perceptron
seuil), en dimension 2, comme nous l'avons vu plus haut, on peut parfois tracer une droite telle
que d'un ct de la droite, les points appartiennent une premire classe et de l'autre ct ils
appartiennent une seconde classe. Cette notion de sparation est gnralise. Pour un
perceptron p neurones, on parle de sparation de l'espace par un hyperplan de cet espace.
Toutefois, on ne peut pas toujours avoir un hyperplan qui spare l'espace en 2 parties, dans les cas
o la fonction qu'on veut approcher est plus complexe.

Dans le cas o l'on peut sparer l'espace avec un hyperplan, on dit que la fonction approcher
est linairement sparable.

En gnral, les perceptrons seuil ne permettent de reprsenter que des fonctions linairement
sparables. De mme, les perceptrons sigmode sont assez limits, la seule diffrence qu'ils
reprsentent une sparation linaire un peu plus douce.

IV-5. Comment choisir les poids

 Cours Intelligence Artificielle

Malgr cette limitation, les perceptrons seuil ont une proprit intressante qui est celle que nous
allons aborder dans la section suivante : il existe un (en fait plusieurs) algorithme(s) qui
permet(tent) un perceptron d'adapter ses poids un ensemble d'exemples de sorte obtenir
pour cet ensemble la classification attendue. Ainsi, si l'ensemble d'exemples est assez vaste (les
exemples sont assez varis), on pourra obtenir un perceptron qui donnera des rsultats
convenables pour des exemples non rencontrs.

V. Apprentissage simple du perceptron : mthode du gradient et algorithme

de Widrow-Hoff

Il y a deux algorithmes, principalement, pour "faire apprendre" un rseau de neurones

monocouche. Le premier est la mthode simple et se nomme la descente de gradient. L'autre,
un peu plus efficace gnralement, se nomme algorithme de Widrow-Hoff, du nom des deux
scientifiques qui ont labor cette technique.

Les deux mthodes consistent comparer le rsultat qui tait attendu pour les exemples puis
minimiser l'erreur commise sur les exemples. Toutefois, il existe bien sr une nuance entre les
deux mthodes, qui va tre explique plus loin.

Nous allons, pour chacune des mthodes, tudier la correction des poids concernant seulement l'un
des neurones. Il suffira d'appliquer successivement la mthode de votre choix chacun des
neurones du rseau monocouche.

V-1. Apprentissage par descente de gradient

Pour comprendre cette mthode d'apprentissage, il faut dfinir l'erreur quadratique E. Si l'on est en
prsence de N exemples, alors pour 1 <= k <= N, notons (Xk,yk) le couple exemple - sortie
attendue, o Xk = (xi)1 <= i <= n est le vecteur dont les coordonnes sont les n informations d'entre
de l'exemple et o yk est la sortie attendue (la sortie "vraie") pour cet exemple-l de la part de
notre neurone. Enfin, on note sk la sortie obtenue pour le k-me exemple avec les poids actuels.
Alors, l'erreur quadratique est dfinie comme suit.

On voit donc que l'erreur est nulle si le rseau de neurones ne se trompe sur aucun des exemples,
c'est dire s'il parvient calculer la bonne sortie (par exemple classifier) pour chacun des
exemples correctement. C'est rarement le cas car souvent on dmarre avec des poids tirs
alatoirement. Il s'agit donc de minimiser, pour un ensemble de N exemples donn, cette erreur
quadratique. Je n'ai pas jug ncessaire de vous prsenter en milieu de ce cours le calcul qui
permet d'obtenir une minimisation de l'erreur quadratique. Toutefois, le rsultat tant trs
 Cours Intelligence Artificielle

important, la dmonstration est disponible en annexe de cet article. On obtient la variation

appliquer chaque poids afin de classifier au mieux (parfaitement, dans le meilleur des cas)
chacun des N exemples.

On va noter un nombre rel auquel on donne le nom de taux d'apprentissage. C'est nous qui
devons lui donner une valeur lors de la mise en pratique de l'apprentissage. Comme nous ne
considrons qu'un neurone la fois, on va noter wi le poids reliant la i-me information notre
neurone.

La mthode de descente du gradient consiste en fait effectuer les actions suivantes :

Etapes de la mthode de descente du gradient

Crer n variables dwi, pour 1 <= i <= n, gales 0

Prendre un exemple ek, pour 1 <= k <= N

Calculer la sortie obtenue avec les poids actuels, note sk (1)

Rajouter dwi, pour tout 1 <= i <= n, le nombre (2)

Ritrer (1) et (2) sur chacun des exemples

Pour 1 <= i <= n, remplacer wi par wi + dwi

Voici donc l'algorithme d'apprentissage par descente du gradient, appliqu un seul neurone, qu'il
faudra donc rpter sur chacun des neurones.

Entre : n poids reliant les n informations notre neurone ayant des

valeurs quelconques
N exemples (X_k, yk) o X_k est un vecteur n composantes x_i,
chacune reprsentant une information de cet exemple

Sortie : les n poids modifis

POUR 1 <= i <= n

dw_i = 0
FIN POUR

POUR TOUT exemple e = (Xk, yk)

Calculer la sortie sk du neurone
POUR 1 <= i <= n
 Cours Intelligence Artificielle

di = dw_i + alpha*(yk - sk)*x_i

FIN POUR
FIN POUR

POUR 1 <= i <= n

w_i = w_i + dw_i
FIN POUR

Afin d'obtenir de bons rsultats, il faudra passer plusieurs fois les exemples chaque neurone, de
sorte que les poids convergent vers des poids "idaux". Le problme avec cette mthode est que
l'on corrige sur la globalit des exemples, ce qui fait que le rseau ne s'adaptera aux exemples
qu'aprs un certain moment. Il y a une autre mthode qui permet de corriger sur chacun des
exemples, et qui se nomme mthode d'apprentissage de Widrow-Hoff.

V-2. Apprentissage par l'algorithme de Widrow-Hoff

L'algorithme de Widrow-Hoff, ou encore "la rgle delta", n'est en fait qu'une variante de
l'algorithme prcdent. Je vais dtailler ceci.

Comme nous l'avons vu dans l'algorithme prcdent, on engrange les erreurs commises sur chaque
exemple puis pour terminer on corrige le poids, et ce pour chaque poids. Vous ressentez
probablement cette mthode comme assez "grossire", dans le sens o elle n'est pas trs prcise
et met beaucoup de temps avant de tendre vers le bon coefficient. On ressent le fait qu'elle ne
corrige qu'un petit peu alors qu'elle pourrait corriger beaucoup mieux pour chaque exemple. Et
c'est l que l'algorithme de Widrow-Hoff intervient. En effet, la mthode labore par Widrow et
Hoff consiste modifier les poids aprs chaque exemple, et non pas aprs que tous les exemples
aient dfil. Ceci va donc minimiser l'erreur de manire prcise, et ce sur chaque exemple.
Instinctivement, on constate bien que le rseau de neurones va s'amliorer nettement mieux et va
tendre bien plus rapidement classifier parfaitement (ou presque) chacun des exemples, bien que
des mthodes plus efficaces encore existent. Voici donc l'algorithme de Widrow-Hoff.

Entre : n poids reliant les n informations notre neurone ayant des

valeurs quelconques
N exemples (X_k, yk) o X_k est un vecteur n
composantes x_i,
chacune reprsentant une information de cet
exemple
Le taux d'apprentissage alpha

Sortie : les n poids modifis

 Cours Intelligence Artificielle

POUR TOUT exemple = (Xk,yk)

Calculer la sortie sk du neurone
POUR 1 <= i <= n
w_i = w_i + alpha*(yk - sk)*x_i
FIN POUR
FIN POUR

Cette mthode est bien sr plus efficace, comme dit prcdemment, mais l'algorithme est plus
simple galement ! Je vous invite donc tester tout d'abord cet algorithme dans des cas assez
simples, comme les fonctions boolennes ainsi que tout autre exemple de ce genre auquel vous
pourriez penser.

Appliquer plusieurs fois cet algorithme permettra d'affiner la correction d'erreur et d'obtenir un
rseau de neurones de plus en plus performant. Attention toutefois, car l'appliquer un trop grand
nombre de fois mnerait ce que l'on appelle "l'overfitting" (sur-apprentissage), c'est dire que
votre rseau devient trs performant sur les exemples utiliss pour l'apprentissage, mais ne
parvient peu ou pas gnraliser pour des informations quelconques.

VI. Les types de rseaux de neurones

Il s'agit de gnraliser ce qui a t vu en 4.3. Un rseau de neurones est simplement un ensemble

de neurones lis entre eux, le poids tant partie intgrante de cette liaison. La faon de lier un
neurone un autre est de prendre la sortie de ce premier, d'affecter un poids sa valeur et de
rejoindre une entre d'un autre neurone, comme nous l'avons dj vu.

Les rseaux de neurones feed-forward sont des rseaux o les neurones ne sont connects que
dans un sens, le sens orient de l'entre vers la sortie. Les rseaux de neurones rcurrents sont
des rseaux o les neurones de sortie par exemple peuvent voir leur sortie utilise comme entre
d'un neurone d'une couche prcdente (nous verrons ce que sont les couches) ou de la mme
couche. Par consquent, instinctivement il est vident que ce modle est bien plus compliqu.
Comme l'indique le titre de cet article, ce n'est pas ce modle qui est tudi dans le cas d'un
rseau de neurones plusieurs couches.

VII. Perceptron multicouche

Nous avons prcdemment tudi les perceptrons (rseaux monocouche) et nous avons vu que les
neurones de sortie taient chacun connects aux mmes informations. Nous les avons perus
comme une couche (aligns verticalement). Ainsi, une couche est constitue de neurones tant
connects aux mmes informations mais n'tant pas connects entre eux. Il s'agit maintenant de
gnraliser le perceptron. On peut ainsi disposer les neurones en plusieurs couches. Ainsi les
informations en entre sont connectes tous les neurones de la premire couche, tous les
neurones de la premire couche sont connects tous les neurones de la seconde couche, et ainsi
 Cours Intelligence Artificielle

de suite jusqu' la dernire couche, appele couche de sortie. Toutes les couches excepte la
couche de sortie sont considres comme "couches caches". Toutefois, n'ayez crainte : il a t
prouv que dans la plupart des cas, un rseau 2 couches (informations -> une couche -> couche
de sortie) o chaque neurone de la couche cache a comme fonction d'activation la fonction
sigmode et chaque neurone de la couche de sortie a comme fonction d'activation une fonction
linaire permet d'approximer une fonction continue. Il s'agit du Thorme de Cybenko. Pour des
fonctions discontinues, nous n'avons aucune garantie.

Du fait du rsultat prcdent, nous allons restreindre notre tude aux rseaux neuronaux une
seule couche cache. La couche cache permet plus d'interaction et instinctivement, on est
conscient que notre rseau de neurone pourra apprendre des "fonctions" plus complexes en
rajoutant une couche. Le fonctionnement n'est pas pour autant complexe. On a toujours le choix de
la fonction d'activation, et l'valuation de la sortie d'un neurone se droule de la mme manire. La
seule diffrence est que la sortie d'un neurone de la couche cache sera l'une des informations
d'entres des neurones de la couche de sortie.

VII-1. Evaluation : RdN(X)

Il y a par rapport au perceptron monocouche une tape supplmentaire lors de l'valuation de la

sortie du rseau de neurone. On obtient ainsi une matrice des poids pour passer des informations
la couche cache, et une autre matrice de poids pour passer de la couche cache la couche de
sortie. Ensuite, cela revient au mme que pour le rseau monocouche.

Modlisation du perceptron multicouche

VII-2. Dimensionner un perceptron multicouche

Dimensionner signifie ici dterminer le nombre de neurones de chacune des deux couches. Pour la
couche de sortie, cela dpend de la nature du rsultat que vous attendez. Si vous avez besoin
de n nombres en sortie, il vous faudra n neurones sur la couche de sortie, comme pour le
perceptron monocouche. Pour la couche cache, les choses sont beaucoup moins simples. Il
n'existe aucune loi, aucune rgle, aucun thorme qui permettrait de dterminer le nombre de
 Cours Intelligence Artificielle

neurones placer dans la couche cache pour avoir un rseau de neurones optimal. La mthode
pour s'en rapprocher est d'essayer "au hasard" plusieurs nombres de neurones en couche cache
jusqu' avoir des rsultats les plus probants possibles aprs l'apprentissage. Il existe toutefois des
rsultats concernant certains types de fonctions que l'on souhaite approcher. Malheureusement,
aucun de ces rsultats n'est pour le moment assez gnrique pour tre exploit dans les cas
courants.

Nous ne nous attardons pas sur la prsentation et l'explication du fonctionnement du perceptron

multicouches tant donn qu'il fonctionne de manire analogue au perceptron monocouche. C'est
pourquoi nous allons maintenant nous pencher sur l'apprentissage du perceptron multicouches.

VIII. Apprentissage du perceptron multicouches

De la mme manire que le perceptron monocouche, le perceptron multicouche est lui aussi
capable d'apprentissage. En effet, il existe galement un algorithme permettant de corriger les
poids vis vis d'un ensemble d'exemples donns. Cet algorithme est appel algorithme de rtro-
propagation du gradient.

Cet algorithme utilise la mme rgle de modification des poids ("delta rule") que l'algorithme de
Widrow-Hoff. L'algorithme va tre donn dans sa version la plus gnrale, c'est dire avec
plusieurs couches caches. On notera g la fonction d'activation. Une dmonstration de l'efficacit
de cet algorithme exige de la fonction d'activation qu'elle soit indfiniment drivable. On notera
si la sortie du neurone i de la couche de sortie et y i la sortie attendue pour ce mme neurone.
Enfin, pour des neurones d'une couche cache, on notera oi la sortie calcule du neurone.

Entre : un exemple, sous la forme (vecteur_x,vecteur_y);

epsilon le taux d'apprentissage
un Perceptron MultiCouches avec q-1 couches caches C1, ..., Cq-1,
une couche de sortie Cq.

Rpter
Prendre un exemple (vecteur_x,vecteur_y) et calculer g(vecteur_x)

Pour toute cellule de sortie i di <- si(1-si)(yi-si) finPour

Pour chaque couche de q-1 1
Pour chaque cellule i de la couche courante
di = oi(1-oi) * Somme [pour k appartenant aux
indices des neurones
 Cours Intelligence Artificielle

prenant en entre la sortie du

neurone i] de dk*w_ki
finPour
finPour

Pour tout poids w_ij <- w_ij + epsilon*di*x_ij finPour

finRpter

La variable "di" apparat deux fois dans le code. Il s'agit de deux variables diffrentes, car en fait
on suppose que les neurones sont numrots de sorte que l'on puisse associer un identifiant un
neurone et rciproquement. Par consquent, le 'i' de "di" identifie un neurone et ainsi on peut
effectuer la dernire boucle de manire uniforme sans diffrencier pour la couche de sortie et les
couches caches.

Voici quelques remarques sur cet algorithme.

L'algorithme de rtropropagation du gradient est une extension de l'algorithme de

Widrow-Hoff. En effet, dans les deux cas, les poids sont mis jour chaque
prsentation d'exemple et donc on tend minimiser l'erreur calcule pour chaque
exemple et pas l'erreur globale.

La mthode donne de bons rsultats pratiques. Dans la plupart des cas, on rencontre
peu de problmes dus aux minima locaux, mais il y en a. Toutefois, il est moins
performant que d'autres algorithmes de propagation d'erreur : il tend moins
rapidement vers des poids plus ou moins optimaux.

Il n'y a pas de condition d'arrt pour le REPETER. C'est vous de fixer le critre. On
peut par exemple rpter cela jusqu' ce que l'erreur sur chaque exemple descende
en dessous d'un certain nombre.

Le choix de l'architecture initiale du rseau reste un problme difficile. Ce choix peut

tre fait par l'exprience. Des mthodes dites "auto-constructives" existent : il s'agit
d'ajouter des neurones au cours de l'apprentissage pour que l'apprentissage se fasse
bien. Mais ces mthodes rencontrent souvent le problme de "sur-apprentissage",
mentionn dans la section 5.2. L'architecture peut aussi tre choisie l'aide de
mthodes bases sur les algorithmes gntiques.

IX. Conclusion

Il y a principalement deux facteurs qui influent sur l'apprentissage. Ce sont la qualit de

l'chantillonnage d'apprentissage (les exemples qui constituent la base d'apprentissage) et la
diversit des valeurs. En effet, le rseau de neurones gnralisera mieux (aura plus de chances de
rpondre correctement en lui donnant en entre des informations non prsentes dans les exemples
d'apprentissage) si la qualit de l'chantillonnage est meilleure et si les donnes des exemples
d'apprentissage sont varies. Intuitivement, on est conscient que s'il sait rpondre correctement
 Cours Intelligence Artificielle

pour un nombre fini de situations les plus diverses, il sera alors plus proche de ce que l'on veut
dans une situation nouvelle.

Nous avons prsent la thorie des rseaux de neurones artificiels feed-forward (c'est dire ne
comportant pas de connexions vers des couches prcdentes). Il existe des structures de rseaux
de neurones beaucoup plus complexes. Si cela vous intresse, renseignez-vous sur les rseaux
rcurrents et les cartes de Kohonen, par exemple. X.

La dmonstration va tre effectue dans le cas d'un perceptron une couche cache. Nous allons
utiliser la dfinition de l'erreur quadratique sur un seul exemple dont nous avons parl dans
l'article.

On effectue la somme sur les neurones de la couche de sortie. De plus, pour terminer, nous
noterons wk,j le poids reliant le k-me neurone de la couche d'entre au j-me neurone de la
couche cache et wj,i le poids reliant le j-me neurone de la couche cache au i-me neurone de la
couche de sortie.

Pour obtenir le gradient par rapport un poids wj,i donn dans la couche de sortie, il suffit de
dvelopper l'activation ai, puisque aucun autre terme de la sommation n'est affect par wj,i

o est le di dans la description des algorithmes.

De mme, nous allons voir comment le gradient effectue la rtropropagation dans le rseau.
 Cours Intelligence Artificielle

O reprsente une partie des di dans les algorithmes : ceux de la couche cache.