Message nerveux
Le système nerveux travaille avec un codage en
fréquence.
Fréquence : C'est le nombre de potentiel d'action par
seconde
Les variations de fréquence qui code l'information.
Un potentiel d'action isolé ne signifie rien.
1
Message nerveux
Les messages transmis lors de mouvements du coude
permettent de connaitre en fonction de la fréquence :
La valeur de l'angle et en fonction des variations de
fréquences
2
Habituation
• Elle consiste à reconnaître, puis à ignorer, des
stimuli sans importances qui se répètent de façon
monotone.
Aplysie ou limace de mer 3
Habituation
Le neurone sensoriel est activé par le
toucher du manteau.
Le neurone moteur agit alors en
rétractant les branchies.
Lorsque la stimulation est répétée, la
réponse de l'animal devient plus faible,
jusqu'à une absence de réaction au
toucher.
C'est le phénomène de
4
l'habituation
Habituation
5
Sensibilisation
Si l'on répète la même expérience en créant après
chaque stimulation du manteau un courant d'eau
violent qui risque d'endommager les branchies.
On observe alors l'effet inverse. La réponse de
l'animal au stimulus initial est augmentée.
Cet effet est appelé sensibilisation.
6
Sensibilisation
7
Modification synaptique
Habituation et sensibilisation au niveau
neuronal traduisent la fonction d'apprentissage
au niveau de l'animal.
Il y a adaptation de la réponse à
l'environnement.
L'observation des synapses par le microscope
électronique montre des modifications
physiques.
8
Modification synaptique
a) Témoin.
b) Habituation : diminution du nombre de vésicules et du nombre de
récepteurs.
9
c) Sensibilisation : augmentation du nombre de vésicules et de récepteurs.
Du neurone biologique au
neurone formel
Points «faibles» :
L'activité d'un neurone se mesure en fonction de la
fréquence du train de potentiels d'actions (spikes)
propagés sur l'axone:
Fréquence inférieure à 300 Hz.
Très lent comparé aux circuits électroniques
modernes.
10
Du neurone biologique au
neurone formel
Points «forts» :
Agencements de connexions inter-neurales
complexes : une seule cellule nerveuse peut
entretenir des milliers de connections.
Parallélisme massif: l'information est traitée de
manière continue, selon plusieurs voies en
parallèle (traitement asynchrone).
La synapse peut s'adapter et faciliter ou non le
passage de l'information : apprentissage
11
Neurone formel (artificiel)
Chaque neurone artificiel est un processeur
élémentaire.
Il reçoit un nombre variable d'entrées (neurones
amonts).
Chacune de ces entrées est associée un poids w.
Chaque processeur élémentaire est doté d'une sortie
unique, pour alimenter un nombre variable de
neurones avals.
12
Modèle de McCullochs et Pitts
(1943)
Un modèle simple de neurone formel. Il s'agit
d'un neurone binaire, c'est-à-dire dont la sortie
vaut 0 ou 1.
Pour calculer la sortie, le neurone effectue une
somme pondérée de ses entrées puis applique
une fonction d'activation à seuil.
Warren McCullochs
Si la somme pondérée dépasse une certaine
valeur, la sortie du neurone est 1, sinon elle
vaut 0.
13
Modèle de Rosenblatt, 1950
Le perceptron de Rosenblatt, 1950
Rosenblatt
f
14
Modèle de Rosenblatt, 1950
Le neurone reçoit les entrées X1, X2, ... , XN et
calcule le potentiel p comme la somme pondérée
des entrées :
p=X1W1+X2W2+...+XNWN
Ensuite, une décision est prise pour calculer la
sortie s en fonction du seuil θ:
si p≥θ alors s=+1
sinon s= -1,
Ce qui revient à tester la différence ( p−θ )≥0
15
Modèle de Rosenblatt, 1950
Fonction de décision discrète
La fonction de décision f du neurone est une fonction à
seuil :
s=f(p)
s=signe(p−θ)
16
Modèle de Rosenblatt, 1950
Ce que fait le neurone est de transformer les
entrées X en fonction de la sortie Y par adaptation
des poids synaptiques W : Y = W X
La mémoire du neurone est contenue dans les
poids synaptiques. L'information est distribuée
dans toutes les synapses. 17
Exemples
Exemple 1
Sachant que les poids d’un neurone à deux
entrées sont les suivants : w1 = 0.5, w2= 0.2
Et que la valeur de seuil est S =0.1, déterminez
son comportement. (les entrées prennent la
valeur 1 ou 0)
Exemple 2
Même question avec w1 = -0.5, w2= -0.2 et S =-0.1
Exemple 3
Même question avec w1 = -0.5, w2= -0.2 et S =-0.4 18
Fonctions de transfert
Il existe de nombreuses formes possibles pour la
fonction de transfert. Les plus courantes sont :
oFonction à seuil
oFonction linéaire
oFonction sigmoïde
oFonction tangente hyperbolique
19
Fonctions à seuil
La sortie peut avoir deux états distincts (-1 et
+1) selon le dépassement d’un Seuil
S = f(p)
+1
SEUIL p
-1
20
Fonctions à seuil
La fonction de Heaviside
La fonction de Heaviside (fonction échelon, fonction
marche d'escalier) est une fonction H discontinue
prenant la valeur 0 pour tous les réels négatifs et la
valeur 1 partout ailleurs :
S = H(p)
+1
-1 21
Fonctions à seuil
Fonction Signe
La fonction signe, est une fonction mathématique qui extrait
le signe d'un nombre réel, c'est-à-dire que l'image d'un nombre par cette
application est 1 si le nombre est positif, et -1 si le nombre est négatif.
S = f(p)
+1
-1
22
Fonction linéaire
Fonction linéaire (identité)
La fonction identité est l'application qui n'a
aucun effet lorsqu'elle est appliquée à un
élément : elle renvoie toujours la valeur qui est
S = f(p)
utilisée comme argument.
23
Fonction linéaire
Fonction linéaire par morceaux (linéaire
saturée) :
S = f(p)
+1
1 p
-1
24
Fonction linéaire
Fonction linéaire par morceaux symétrique :
S = f(p)
+1
-1 1 p
-1
25
Fonction linéaire
Linéaire
positive
S = f(p)
26
Fonction sigmoïde
La fonction sigmoïde (dite aussi courbe en S) est définie par :
pour tout réel
Le nom de « sigmoïde » lui vient de sa forme en S.
S = f(p)
+1
-1 27
Tangente
hyperbolique
Définie par :
S = f(p)
+1
-1 28
La fonction Softmax
La fonction Softmax permet de transformer un
vecteur réel en un vecteur de probabilité.
On l’utilise souvent dans la couche finale d’un modèle
de classification, notamment pour les problèmes
multi-classes.
29
Architecture de réseau
Structure d'interconnexion
Les connexions entre les neurones qui composent le
réseau décrivent la topologie du modèle.
Généralement les neurones sont arrangés par couche.
On appelle couche d'entrée l'ensemble des neurones
d'entrée
Couche de sortie l'ensemble des neurones de sortie.
Les couches intermédiaires n'ayant aucun contact
30
avec l'extérieur sont appelés couches cachées.
Les réseaux "Feed-
forward"
Ce sont des réseaux dans les quels
l'information se propage de couche en couche
sans retour en arrière possible.
On distingue alors :
Perceptron monocouche
Perceptron multicouche (PMC)
31
Perceptron monocouche
Comme leur nom l'indique, ces types de réseaux
sont constitués d'une seule couche. De plus, ces
réseaux sont linéaires.
32
Perceptron multicouche(PMC)
Les neurones sont arrangés par couche. Il n'y a pas de
connexion entre neurones d'une même couche et les
connexions ne se font qu'avec les neurones des couches
avales.
33
Perceptron multicouche(PMC)
Multicouche, en cascade
y1 d1
x1
x2 y2 d2
entrée cachée sortie
34
Perceptron multicouche(PMC)
Multicouche, en cascade, partiel
Champ
récepteur
de i i
35
Perceptron multicouche(PMC)
On trouve aussi d’autre réseaux qui possèdent la même
architecture que le PMC mais avec quelques
particularités :
par exemple :
PMC a connexion locale : Il s'agit d'une structure
multicouche, mais qui à l'image de la rétine, conserve
une certaine topologie.
36
Les réseaux ‘Feed back’
Ce sont des réseaux dans les quels l'information se
propage de couche en couche avec retour en arrière
possible.
Réseau à connexions récurrentes :
Les connexions récurrentes ramènent l'information en
arrière par rapport au sens de propagation défini dans
un réseau multicouche.
37
Les réseaux ‘Feed back’
Réseau à connexion complète : c'est la structure
d'interconnexion la plus générale.
Chaque neurone est connecté à tous les neurones
du réseau.
38
Exercice
(fonctions logiques)
Considérons par exemple un neurone formel à deux
entrées (x1 et x2) dont on fixe les poids synaptiques
à 1. Déterminez son comportement en fonction de la
valeur du seuil Ɵ. (le neurone réalise un OU logique
ou un ET logique…).
On considère que les entrées peut prendre la valeur
0 ou 1
Et la sortie égale à 1 lorsque la somme pondérée
39
égale Ɵ
Exercice
(fonctions logiques)
On distingue quatre cas, selon la valeur de Ɵ
Si la seuil est négative Ɵ≤0 la sortie du neurone vaut
toujours 1.
Si 0< Ɵ ≤ 1 la table devient :
x1 x 2 0 1
0 0 1 Le neurone calcule donc un OU logique
1 1 1
40
Exercice
(fonctions logiques)
Si 1< Ɵ ≤ 2 la table devient :
x1 x 2 0 1
0 0 0 Le neurone calcule donc un ET logique
1 0 1
Si Ɵ >2 , le neurone donne toujours 0.
Par le même type de raisonnement, on constate
qu'un neurone à une entrée peut n'avoir aucun effet
(neurone identité) ou réaliser un NON logique.
41
Exercice
(fonctions logiques)
Les entrés prennent la valeur 1 ou -
1
X1 1 Ɵ=1
Y
1
X2
42
Exercice
(fonctions logiques)
Les entrés prennent la valeur 1 ou -
1
? Ɵ=-1,5
X1
Y
X2
43
