Partie II: Les Réseaux de Neurones Artificiels

1. Introduction
2. Le neurone biologique
3. Le neurone formel (Artificiel)
4. Différents modèles des réseaux de neurones
4.1. Réseaux de neurone monocouches
4.2. Réseaux de neurone multicouches
5. Structure des réseaux de neurones
6. L’apprentissage d’un réseau de neurones
6.1. Apprentissage supervisé
6.2. Apprentissage non supervisé
7. Méthodes d’apprentissage des réseaux de neurones
7.1. Apprentissage des RNA monocouche
7.2. Apprentissage des RNA multicouche
8. Utilisation des instructions sous Matlab pour le calcul neuronal
8.1. Les réseaux de neurone monocouche
8.2. Les réseaux de neurone multicouche
9. Exemples d’application des RNA dans la commande
9.1. Réglage de niveau dans un réservoir d’eau
9.2. Régulation de la température
10. Conclusion

EPI Page 1
 Partie II Réseaux de Neurones Artificiels

1. Introduction:
L’origine des réseaux de neurones vient de l’essai de modélisation
mathématique du cerveau humain. Les premiers travaux datent de 1943, ils
supposent que l’impulsion nerveuse est le résultat d’un calcul simple effectué par
chaque neurone et que la pensée née grâce à l’effet collectif d’un réseau de
neurones interconnectés. Ils ont connu des débuts prometteurs vers la fin des
années 50, mais le manque d’approfondissement de la théorie a gelé ces travaux
jusqu’aux années 80.
Les réseaux de neurones artificiels, sont des modèles inspirés du
fonctionnement cérébral de l’être humain et de ses capacités d’apprentissage. Ce
sont des structures organisées autour d’un ensemble de cellules (les neurones)
interconnectées selon une certaine architecture par des liens pondérés et
modifiables lors d’une procédure appelée apprentissage.
Ils sont employés dans toutes sortes d’applications et dans divers
domaines. Ils sont d’excellent candidat pour résoudre les problèmes de
modélisation, d’identification et de contrôle des processus non linéaires
et complexes.
2. Le neurone biologique:
La figure (Fig. II.1) présente les éléments principaux d’un neurone biologique:

Fig. II.1: Neurone biologique

Le neurone biologique comprend essentiellement:

- Les dendrites: qui sont les récepteurs principaux du neurone, captant les
signaux qui lui parviennent.
- Le corps cellulaire: qui fait la somme des influx qui lui parviennent; si cette
somme dépasse un certain seuil, il envoie lui-même un influx par l’intermédiaire
de l’axone.
- L’axone: qui permet de transmettre les signaux émis par le corps cellulaire
aux autres neurones.

EPI Page 2
 - Les synapses: qui permettent aux neurones de communiquer avec les autres
via les axones et les dendrites.

3. Le neurone formel (Artificiel):

Le neurone formel est un modèle théorique de traitement de l’information
inspiré des observations relatives au fonctionnement d’un neurone biologique,
pour but de reproduire le raisonnement intelligent d’une manière artificielle.

x1 w1

x2 W2 Sommation
U
f y
xi W3 Sortie
Fonction
Seuil d’activation
xn W4
Poids
Les entrées synaptiques

Fig. II.2: Neurone artificiel

Le tableau ci-dessous montre la mise en correspondance entre un neurone

biologique et un neurone artificiel:

Tab. II.1: Neurone biologique et neurone artificiel

Neurone biologique Neurone artificiel

Synapses Poids des connexions
Axones Signal de sortie
Dendrites Signal d’entrée
Noyau ou Sommation Fonction d’activation

Le neurone formel peut être défini, d’une façon plus générale, par les
éléments suivants:
1- Les entrées du réseau neurone: Elles peuvent être binaires (0, 1) ou
réelles.
2- Fonction d’activation: Est une fonction mathématique qui permet de
définir l’état interne du neurone en fonction de son entrée totale, la figure ci-
dessous présente quelques fonctions les plus souvent utilisées:

EPI Page 3
 Partie II Réseaux de Neurones Artificiels

Fig. II.3: Fonction d’activations

3- Fonction de sortie: Elle calcule la sortie d’un neurone en fonction de son

état d’activation. En général, cette fonction est considérée comme la fonction
identité. Elle peut être: binaire (0, 1), bipolaire (−1, 1) ou réelle.
4- Poids des connexions: Un poids wij est associé à chacune des connexions.
Un poids d’un neurone artificiel représente l’efficacité d’une connexion
synaptique. Un poids négatif vient inhiber une entrée, alors qu’un poids
positif vient l’accentuer.

4. Différents modèles des réseaux de neurones:

Un réseau de neurone est une structure organisée autour d’un ensemble de
neurones interconnectés, selon une certaine topologie, par des liaisons affectées
de poids. Ces liaisons offrent à chaque neurone un canal pour émettre et recevoir
des signaux venant d’autres neurones. On peut classifier les réseaux de neurones
artificiels selon deux grands familles:
4.1. Réseaux de neurone monocouches:
Présenté par Frank Rosenblatt, en 1958, le Perceptron est le premier modèle
et la forme le plus simple du réseau de neurones. Le perceptron monocouche se
compose de deux couches: la couche d’entrée et la couche de sortie qui donne la
réponse correspondant à la stimulation présente en entrée.
Un Perceptron simple ne peut traiter que les problèmes linéairement
séparables où les états peuvent être séparés par une droite, comme les fonctions
logiques AND et OR par exemple. Pour les problèmes qui ne sont pas

EPI Page 4
linéairement séparables comme la fonction logique XOR par exemple, on doit
utiliser un Perceptron multicouche.

4.2. Réseaux de neurone multicouches:

C’est une extension du Perceptron monocouche, avec une ou plusieurs couches
cachées entre l’entrée et la sortie. La figure (Fig. II.6) donne l’exemple d’un
réseau contenant une couche d’entrée, deux couches cachées et une couche de
sortie. La couche d’entrée représente toujours une couche virtuelle associée aux
entrées du système. Elle ne contient aucun neurone. Les couches suivantes sont
des couches de neurones. Dans l’exemple illustré, il y a trois entrées, quatre
neurones sur la première couche cachée, trois neurones sur la deuxième couche
cachée et quatre neurones sur la couche de sortie. Les sorties des neurones de la
dernière couche correspondent toujours aux sorties du système.

EPI Page 5
 Dans le cas général, un Perceptron multicouche peut posséder un nombre de
couches quelconque et un nombre de neurones (ou d’entrées) par couche
également quelconque.

5. Structure des réseaux de neurones:

L’organigramme suivant résume les différentes structures des réseaux de
neurone:

EPI Page 6
 Partie II Réseaux de Neurones Artificiels

6. L’apprentissage d’un réseau de neurones:

L’apprentissage est vraisemblablement la propriété la plus intéressante des
réseaux neuronaux. Elle ne concerne cependant pas tous les modèles, mais les
plus utilisés. L’apprentissage est une phase du développement d’un réseau de
neurones durant laquelle le comportement du réseau est modifié jusqu’à
l’obtention du comportement désiré. L’apprentissage neuronal fait appel à des
exemples de comportement.
Il existe deux grandes familles d’apprentissage, supervisé et non supervisé:
6.1. Apprentissage supervisé:
L’apprentissage est dit supervisé lorsque le réseau est forcé à converger vers
un état final précis, ce qui nécessite la connaissance préalable (à priori) de la
réponse désirée d(n). La méthode la plus utilisée est la rétro-propagation du
gradient. Elle consiste à présenter des exemples au réseau, calculer sa sortie,
ajuster les poids de façon à réduire l’écart entre cette sortie et la réponse désirée
pour satisfaire un certain critère de performance.

6.2. Apprentissage non supervisé:

Dans l’apprentissage non supervisé, seules les valeurs d’entrée sont
disponibles et le réseau est laissé libre de converger vers n'importe quel état final.

EPI Page 7
 La connaissance à priori de la sortie désirée n’est pas nécessaire, la procédure
d’apprentissage est basée uniquement sur les valeurs d’entrées. Le réseau s’auto-
organise de façon à optimiser une certaine fonction de coût.

7. Méthodes d’apprentissage des réseaux de neurones:

Les algorithmes d’apprentissages donnent des meilleurs résultats lorsqu’on
leur fournit des exemples multiples et variés. Il existe des différentes méthodes
d’apprentissage selon le modèle du réseau (monocouche ou multicouche),
l’organigramme suivant illustre les principaux méthodes d’apprentissages les
plus couramment utilisées pour l’adaptation des poids.

7.1. Apprentissage des RNA monocouche:

Les deux méthodes mentionnées dans l’organigramme ci-dessus consistent à
comparer le résultat qui était attendu (sortie actuelle) pour les exemples, avec la
sortie désirée, puis à minimiser l’erreur commise sur les exemples.

La méthode de Widrow-Hoff n’est qu’une variante de la méthode de la

descente de gradient, elle consiste à modifier les poids après chaque exemple
(chaque step) et non pas après tous les exemples (ce qui est le cas dans la
méthode de la descente de gradient), ce qui va minimiser l’erreur de manière
précise, et ce sur chaque exemple. La formule utilisée pour adapter les poids est:

w(n +1) = w(n) + αd(n) − y(n)x(n) (II.1)

Exemple:
Le tableau suivant montre une classification de deux catégories représentées
par deux couleurs différentes rouge et bleu:

EPI Page 8
 Choix de la fonction d’activation:
On a deux sorties, donc on cherche une fonction d’activation qui possède deux
sorties, on peut choisir la fonction Signum par exemple.

EPI Page 9
 Partie II Réseaux de Neurones Artificiels

On peut résumer maintenant les paramètres de notre réseau:

- Les entrées Xm y compris le bias (qui égale toujours à 1) (X1, X2, X3 et X0).
- Les poids Wm y compris le poids du bias (W1, W2, W3 et W0).
- SOP: Sum Of Product, la somme des produits entre les entrées et les poids.
- La fonction d’activation: Signum.
- Les sorties yj, on a deux sorties: bleu et rouge.
- Le taux d’apprentissage α dont: 0 ≤ α ≤ 1.
- Le pas (step) n dont: n=0, 1, 2, … (à chaque fois on applique une entrée, n
incrémente de 1).
- La sortie désirée dj, soit égale à: +1 (si on est dans la classe bleu) ou bien
égale à: -1 (si on est dans la classe rouge).

La phase d’apprentissage:
Voici les étapes à suivre pour faire l’apprentissage du neurone:
1- Initialisation des poids (on donne des poids initiaux).
2- Application des entrées.
3- Calcul de la somme des produits (SOP).
4- Calcul de la réponse de la fonction d’activation, ce qui va nous donner la
sortie yj.
5- Adaptation des poids (uniquement dans le cas où la sortie calculée est
différente de la sortie désirée) on utilisant la formule (II.1).
6- Retour à l’étape numéro 2.

- Step n=0 , On pose: α=0.001

X(n)=X(0)=[X0, X1, X2, X3]=[+1, 255, 0, 0]: Vecteur d’entrée pour n=0
W(n)=W(0)=[ W0,W1, W2, W3]=[-1, -2, 1, 6.2]: Poids initiaux
d(n)=d(0)= -1: La sortie désirée (cas de la classe 1)
SOP=(+1)(-1)+(255)(-2)+(0)(1)+(0)(6.2)=-511
y(n)= y(0)=Sig(SOP)= Sig(-511)= -1 donc:
Lorsque n=0, y(n)= d(n)= -1 c-à-d: la sortie mesurée=la sortie désirée, donc les
poids sont correctes, donc pas d’adaptation des poids dans cette étape.

- Step n=1
X(n)=X(1)=[X0, X1, X2, X3]=[+1, 248, 80, 68]
W(n)=W(1)=[ W0,W1, W2, W3]=[-1, -2, 1, 6.2]

EPI Page 10
 Partie II Réseaux de Neurones Artificiels

d(n)=d(1)= -1
SOP=(+1)(-1)+(248)(-2)+(80)(1)+(68)(6.2)= 4.6
y(n)= y(1)=Sig(SOP)= Sig(4.6)= +1 donc:
Lorsque n=1, y(n)≠d(n), c-à-d: la sortie mesurée est différente de la sortie
désirée, donc les poids sont incorrectes, donc une adaptation des poids est
nécessaire.
Adaptation des poids:
W(n+1)= W(n)+α[d(n)-y(n)].X(n)
Quand n=1:
W(1+1)= W(1)+0.001[d(1)-y(1)].X(1)
W(2)= [-1, -2, 1, 6.2]+0.001[-1-(+1)] [+1, 248, 80, 68]
W(2)= [-1, -2, 1, 6.2]-0.002[+1, 248, 80, 68]
W(2)= [-1.002, -2.496, 0.84, 6.064]: les nouveaux poids (on va les utiliser dans
les prochaines étapes).
- Step n=2
X(n)=X(2)= [+1, 0, 0, 255]
W(n)=W(2)= [-1.002, -2.496, 0.84, 6.064]
d(n)=d(2)= +1
SOP= 1545.32
y(n)= y(2)=Sig(SOP)= Sig(1545.32)= +1 donc:
Lorsque n=2, y(n)=y(2)=d(2)= +1 c-à-d: la sortie mesurée=la sortie désirée,
donc les nouveaux poids sont correctes, donc pas d’adaptation des poids.
- Step n=3
X(n)=X(3)= [+1, 67, 15, 210]
W(n)=W(3)= [-1.002, -2.496, 0.84, 6.064]
d(n)=d(3)= +1
SOP= 1349.542
y(n)= y(3)=Sig(SOP)= Sig(1349.542)= +1 donc:
Lorsque n=3, y(n)=y(3)=d(3)= +1 c-à-d: la sortie mesurée=la sortie désirée,
donc les poids sont correctes, donc pas d’adaptation des poids.
NB: On n’a pas encore terminé, il faut appliquer les nouveaux poids sur les
deux premiers cas (n=0 et n=1) (il faut que les nouveaux poids soient valables
avec tous les cas).

EPI Page 11
 Partie II Réseaux de Neurones Artificiels

- Step n=4
X(n)=X(4)= [+1, 255, 0, 0]
W(n)=W(4)= [-1.002, -2.496, 0.84, 6.064]
d(n)=d(4)= -1
SOP= -637.482
y(n)= y(4)=Sig(SOP)= Sig(-637.482)= -1 donc:
Lorsque n=4, y(n)=y(4)=d(4)= -1 c-à-d: la sortie mesurée=la sortie désirée,
donc les poids sont correctes, donc pas d’adaptation des poids.
- Step n=5
X(n)=X(5)= [+1, 248, 80, 68]
W(n)=W(5)= [-1.002, -2.496, 0.84, 6.064]
d(n)=d(5)= -1
SOP= -31.306
y(n)= y(5)=Sig(SOP)= Sig(-31.306)= -1 donc:
Lorsque n=5, y(n)=y(5)=d(5)= -1 c-à-d: la sortie mesurée=la sortie désirée,
donc les poids sont correctes, donc pas d’adaptation des poids.
Comme ça, les poids sont vérifiées avec tous les cas, et dans tous les cas on a
trouvé que la sortie mesurée=la sortie désirée et donc:
[-1.002, -2.496, 0.84, 6.064]: poids optimaux.

Test d’un échantillon inconnu:

Soit l’échantillon suivant:
(R, V, B)=(150, 100, 180)
W=[-1.002, -2.496, 0.84, 6.064]
SOP=800.118
y=Sig(800.118)=+1: ça veut dire que le réseau classe cet échantillon dans la classe
bleu, donc il nous donne une bonne classification.

7.2. Apprentissage des RNA multicouche:

La méthode d’apprentissage utilisée dans ce cas est la méthode de rétro-
propagation du gradient, qui consiste à une suite d’optimisations partielles,
couche par couche.
Algorithme de la méthode:
La figure suivante présente l’algorithme de la méthode de la rétro-
propagation du gradient:

EPI Page 12
 Soit le neurone multicouche présenté dans la figure ci-dessous, avec 1 couche
d’entrée, 1 couche cachée et 1 couche de sortie.

Partie II Réseaux de Neurones Artificiels

EPI Page 13
EPI Page 14
EPI Page 15