Chapitre 7

Réseau ART
 Plan
 Compétition de base: Le gagnant
emporte tout
 Modèle générique ART
 Structure ART1
 Améliorations: ART2 ARTMAP

Cours #9 GPA-779
- 2 Application des réseaux de neurones et des systèmes experts
 Découverte
 K. Mehrotra, C.K. Mohan et S. Ranka, Elements of
Artificial Neural Networks, MIT Press, 1997.
 Coup de coeur
 Traitement complet
 Algos génériques
 Exemples nombreux
 G.A. Carpenter et S. Grossberg, Neural Networks for
Vision and Image Processing, MIT Press, 1992
 Répertoire de contributions
 Suite d’une conférence à Boston en 1991
 Orienté recherche
 «égaré» à l’hiver 2003
 J.A. Freeman et D.M. Skapura, Neural Networks:
Algorithms, Applications and Programming Techniques,
Addison Wesley, 1991
 Couvre les principaux modèles: adaline, madaline,
perceptron, BAM, Hopfield, SOM, ART,
neocognitron
 Source d’inspiration pour plusieurs acétates
 Traitement complet, bien illustré

Cours #9 GPA-779
- 3 Application des réseaux de neurones et des systèmes experts
  Vue d’ensemble

Cours #9 GPA-779
- 4 Application des réseaux de neurones et des systèmes experts
 7.1 Couche de compétition
 Gagnant-emporte-tout
 Modèle de base de plusieurs réseaux
non-supervisés

Cours #9 GPA-779
- 5 Application des réseaux de neurones et des systèmes experts
  Architecture
y1 y2 yM

x1 x2 x3 x4

Cours #9 GPA-779
- 6 Application des réseaux de neurones et des systèmes experts
  Activation
 Produit scalaire. La sortie est
ym = ∑ wmn xn
proportionnelle au cos de l’angle n
entre l’entrée et le vecteur de
poids
€
 Compétition : soit ym* le
neurone avec la sortie maximale
 ym* = 1
 ym≠m* = 0
Cours #9 GPA-779
- 7 Application des réseaux de neurones et des systèmes experts
  Apprentissage

 Le neurone le plus activé gagne la

compétition. Son indice est m*.
 Sa sortie ym* est placée à 1
 Tous les autres neurones ont leur sortie à 0
 Renforcement des liens du neurone gagnant
Δ

v
Wm* v
X

Cours #9 GPA-779
- 8 Application des réseaux de neurones et des systèmes experts
 a) avant l’apprentissage b) après l’apprentissage
x: vecteur de poids •: vecteur d’entrée

Cours #9 GPA-779
- 9 Application des réseaux de neurones et des systèmes experts
  Phase de compétition

 Solution logicielle: Max. (Y)  ym* =1

ymm* = 0
 Solution neuronique: inhibition

y1 y2 yM

1
−ε +1 −ε ε<
M

net1 net2 netM

Cours #9 GPA-779
- 10 Application des réseaux de neurones et des systèmes experts
 Exercice

y1 y2 y3 y4

+1 −ε
−ε −ε
ε = 0,2

0,8 0,2 0,4 0,6

Cours #9 GPA-779
- 11 Application des réseaux de neurones et des systèmes experts
 7.2 Modèle générique ART
 ART: Adaptive Resonnance Theory
Classification non-
supervisée

Cours #9 GPA-779
- 12 Application des réseaux de neurones et des systèmes experts
  Composantes:
 Couche d’entrée F1
– Sous-couche d’entrée F1(a)
– Sous-couche d’interface F1(b)
 Couche de classification F2 compétition
 Mécanisme de comparaison
 Connexions:
 Rappel (F1  F2) bji
 Modèle (F2  F1) tij

Cours #9 GPA-779
- 13 Application des réseaux de neurones et des systèmes experts
  Phases d’opération

Cours #9 GPA-779
- 14 Application des réseaux de neurones et des systèmes experts
  Caractéristiques
 Apprentissage non-supervisé
– Catégorisation par regroupement de
caractéristiques. Apprend les regroupements.
 Mémoire incrémentale
– On peut ajouter de nouvelles catégories sans
effacer ce qui a été appris.
 Inspiration biologique
– Phénomène de base : éveillement
– Dilemme stabilité  platicité

Cours #9 GPA-779
- 15 Application des réseaux de neurones et des systèmes experts
  Structure du ART 1
j
  F2 Catégories
G2

<ρ?

W b=tij RAZ
RAZ
W f =bji
 
F1(b) = Interface
 i

 G1 

F1 Caractéristiques
F1(a)=Entrée=Xk

Cours #9 GPA-779
- 16 Application des réseaux de neurones et des systèmes experts
  Couche F1 : couche de comparaison

à F2
de F2
tij à RAZ

si
Activité
G1 X1i
G1=0 (inhibé)  F2  0
G1=1 xi seulement
G1=0 F2•xi Donc, aussitôt que de
À cause règle 2/3: l’activité se produit dans F2
G1=1  si=xi•1
G1=0  si=F2•xi
xi

Cours #9 GPA-779
- 17 Application des réseaux de neurones et des systèmes experts
 Couche F2 : couche des catégories

à toutes les
  unités de F2

 
yj
Activité
G2 de RAZ
X2j
bji

tij
de F1

à F1

Cours #9 GPA-779
- 18 Application des réseaux de neurones et des systèmes experts
  Fonctionnement
 Contrôle de gain: G1 et G2
– Permettent de contrôler le contenu de F1
– Règle du 2/3: une unité dans F1 ou F2 est activée
si 2 entrées sur 3 sont activées
 Vigilance
– L’entrée est comparée avec le prototype (modèle)
généré par F2. Fonction ET sur F1
– Si comparaison <  RAZ activé
 = facteur d’éveil 0<<1
pour ≈1 X doit égaler
exactement F1 retourné
par F2

Cours #9 GPA-779
- 19 Application des réseaux de neurones et des systèmes experts
 y1 y2 yM
−ε +1 −ε

net1 net2 netM

 Compétition (couche de compétition F2)

– Les mêmes connexions se répètent pour toutes les
unités
– Résultat: ym* = 1 pour l’unité la plus activée
ymm* = 0 pour toutes les autres unités

Cours #9 GPA-779
- 20 Application des réseaux de neurones et des systèmes experts
  Illustration du fonctionnement

Cours #9 GPA-779
- 21 Application des réseaux de neurones et des systèmes experts
 • Algorithme
0- Initialisation
L>1 2
0 < ρ ≤1
0,9
L
0 < b ji (0) <
L −1+ I 1/1+I
t ij (0) = 1 1
1- Forme Xk présentée à F1
a) X=0  G2=0  F2=0
€ b) X=S  G2=1
F1(b) contient la forme S (=Xk) Fig.
8.2a
2- Ssi ypropagé sur F2
j ≠ −1 ⇒ y j = ∑ b ji xi
Fig.
8.2a i

Cours #9 GPA-779
- 22 Application des réseaux de neurones et des systèmes experts
 3- Compétition en F2. Forme résultat Y=yj*
(1 neurone activé) Fig. 8.2b
4- Y projeté sur F1
G1 inhibé
F1 contient X•Y projeté = S Fig. 8.2b
5- Appariement S = ∑ Si X = ∑ Xi
S
si <ρ : 6- RAZ activé Fig. 8.2c
X
€ Neurone Y désactivé et inhibé yj*= -1 2
S L ⋅si
si >ρ : 7- Renforcir Wf allant à Y b ji =
X L −1+ S
€
8- Renforcir Wb partant de Y tij = si
Fig. 8.2d

9- Enlever X G2=0
€ Ré-activer les neurones€
€
inhibés dans F2 (rés. de RAZ)
10- Retour à 1
  Exemple - ART1

Cours #9 GPA-779
- 24 Application des réseaux de neurones et des systèmes experts
  ART1: convergence et robustesse

Cours #9 GPA-779
- 25 Application des réseaux de neurones et des systèmes experts
  Améliorations

 ART1: Entrées binaires

 ART2: Entrées analogiques
Normalisation +
Contraste
 ARTMAP: ART1s ou ART2s couplés
avec apprentissage
supervisé ( augmenté pour
certains exemples)

Cours #9 GPA-779
- 26 Application des réseaux de neurones et des systèmes experts
  ART2

Cours #9 GPA-779
- 27 Application des réseaux de neurones et des systèmes experts
  ARTMAP

Cours #9 GPA-779
- 30 Application des réseaux de neurones et des systèmes experts