3ème année Licence en Ingénierie des Systèmes Informatiques

IA & MACHINE LEARNING

CHAPITRE 5 : RÉSEAUX DE NEURONES

Ilef Ben Slima - [email protected]

Maître Assistante à l’ISMAIK
Chercheur au Centre de Recherche en Numérique de Sfax (CRNS)
Métaphore biologique
◼ Un réseau de neurones artificiel est un système dont la conception est à l'origine
schématiquement inspirée du fonctionnement des neurones biologiques, et qui par
la suite s'est rapproché des méthodes statistiques.

Ilef Ben Slima 2024 - 2025 2

Composants d’un réseau de neurones
◼ Neurone artificiel :
 unité de base du réseau.
 ensemble de fonctions
 prend une donnée d’entrée et produit une
donnée de sortie.

◼ Couche : ensemble de neurones traitant

simultanément des données. b

◼ Architecture : organisation des couches

et des connexions entre neurones.

Ilef Ben Slima 2024 - 2025 3

Composants d’un réseau de neurones
◼ Poids : Chaque connexion entre les neurones a un
poids, qui détermine l'importance d'une entrée par
rapport à une autre.

◼ Biais : Une valeur ajoutée à la somme pondérée

des entrées pour ajuster l'activation du neurone,
permettant de décaler la fonction d'activation vers la
gauche ou la droite. b

 utile pour améliorer la flexibilité du modèle pour

modéliser des relations complexes.

◼ Fonction d'activation : La somme pondérée des entrées est passée à travers une fonction d'activation.
cette fonction est souvent une fonction seuil, qui renvoie 1 si la somme pondérée est supérieure à un certain
seuil et 0 sinon.

Ilef Ben Slima 2024 - 2025 4

Composants d’un réseau de neurones

◼ Couche : Ensemble de neurones traitant

simultanément des données.

 Il n'y a pas de connexion entre les

neurones d'une même couche

 Tous les neurones d’une même couche

remplissent un type de fonction similaire.

Ilef Ben Slima 2024 - 2025 5

Composants d’un réseau de neurones

◼ Couche d’entrée : La première couche qui reçoit les

données brutes en entrée, généralement les caractéristiques
de la donnée que nous voulons classer (par exemple, des
pixels d'une image)

◼ Couche de sortie : Fournit les résultats finaux du

réseau (par exemple, une probabilité ou une catégorie).

◼ Couches intermédiaires :
 n'ont pas de contact avec l'extérieur et sont nommées
couches cachées.
 où se déroulent la plupart des calculs.
 Elles extraient des caractéristiques complexes grâce aux
neurones connectés.

Ilef Ben Slima 2024 - 2025 6

Composants d’un réseau de neurones

◼ Exemple d’architecture

Ilef Ben Slima 2024 - 2025 7

Fonction d’activation

◼ La fonction
d'activation est une
fonction
mathématique qui
détermine si un
neurone doit être
activé ou non.

Ilef Ben Slima 2024 - 2025 8

Perceptron
◼ Réseau de Neurones (RN) à une seule couche et un seul neurone.
◼ Le réseau de neurones le plus simple.
◼ Un perceptron est composé : des entrées et poids; d’une fonction d’activation; le
biais et la sortie.
◼ La sortie est une classification binaire : 0 ou 1.

Ilef Ben Slima 2024 - 2025 9

 Perceptron Simple : Exemple 1
◼ On considère que l’on souhaite prendre une décision basée sur deux entrées :
1. Température extérieure (°C)
2. Vitesse du vent (km/h)
L'objectif est de décider si le chauffage doit être allumé (1) ou éteint (0).

Formule : z = w1 * x1 + w2 * x2 + b

Température Paramètres :
-1
- w1 = -1 (effet négatif de la température sur le besoin de
y
∑ chauffage)
Vent
0,5 - w2 = 0.5 (le vent rend la sensation de froid plus importante)
b=5 - b = 5 (biais positif)
Fonction d'activation : Seuil (y = 1 si z >= 0, sinon y = 0)

Ilef Ben Slima 2024 - 2025 10

Perceptron Simple : Exemple 1
Température -1
y
∑
Vent
0,5
b=5

Température (x1) Vent (x2) z Sortie (y) Décision

20 0
10 10
5 20
5 5
-5 10
25 20

Ilef Ben Slima 2024 - 2025 11

Perceptron Simple : Exemple 1
Température -1
y
∑
Vent
0,5
b=5

Température (x1) Vent (x2) z Sortie (y) Décision

20 0 -15 0 Chauffage éteint
10 10 0 1 Chauffage allumé
5 20 10 1 Chauffage allumé
5 5 2.5 1 Chauffage allumé
-5 10 15 1 Chauffage allumé
25 20 -5 0 Chauffage éteint

Ilef Ben Slima 2024 - 2025 12

Perceptron Simple : Exemple 1
Température -1
y
∑
Vent
0,5
b=0

Température (x1) Vent (x2) z Sortie (y) Décision

20 0
10 10
5 20
5 5
-5 10
25 20

Ilef Ben Slima 2024 - 2025 13

Perceptron Simple : Exemple 1
Température -1
y
∑
Vent
0,5
b=0

Température (x1) Vent (x2) z Sortie (y) Décision

20 0 -15 0 Chauffage éteint
10 10 -5 0 Chauffage éteint
5 20 10 1 Chauffage allumé
5 5 -2.5 0 Chauffage éteint
-5 10 15 1 Chauffage allumé
25 20 -5 0 Chauffage éteint

Ilef Ben Slima 2024 - 2025 14

ENTRAINEMENT DU PERCEPTRON
◼ Apprentissage du perceptron (Learning algorithm) : Ajuster les poids associés
aux connexions entre les neurones afin que le réseau puisse correctement classer
ou prédire les données en fonction des exemples fournis.

◼ Etapes d’apprentissage :
 Initialisation des poids : Les poids 𝑤1 , 𝑤2 ,..., 𝑤𝑛 ​et le biais 𝑏 du perceptron sont initialisés
aléatoirement
 Pour la première instance, calcul de la sortie cible 𝑦ො en utilisant les poids initialisés
 Calcul de l’erreur : 𝑬𝒓𝒓𝒆𝒖𝒓 = 𝒚
ෝ−𝒚
𝝀 : taux d'apprentissage
 Mise à jour des poids : (learning rate) : contrôle
𝒘𝒊 = 𝒘𝒊 + 𝝀 ∗ 𝑬𝒓𝒓𝒆𝒖𝒓 ∗ 𝒙𝒊 la vitesse d’ajustement
𝒃 = 𝒃 + 𝝀 ∗ 𝑬𝒓𝒓𝒆𝒖𝒓 des poids.
 Passer à l’instance suivante (Répéter jusqu'à ce que tous les exemples soient
correctement classés ou jusqu’à atteindre un nombre maximal d’itérations).

Ilef Ben Slima 2024 - 2025 15

Perceptron Simple : Exemple 2
◼ On considère l’exemple de la fonction ET logique (AND).

X1 w1
Y
∑
X2
w2
b

Ilef Ben Slima 2024 - 2025 16

Perceptron Simple : Exemple 2
◼ On considère l’exemple de la fonction ET logique (AND).

 Initialisation des poids : 𝑤1 = 0.1 ; 𝑤2 = −0.2; 𝑏 = 0.1 X1 w1

 Taux d'apprentissage : 𝜆 = 0.1 Y
∑
X2
 Instance 1 : w2
z = 𝑥1 ∗ 𝑤1 + 𝑥2 ∗ 𝑤2 + 𝑏 = 0 ∗ 0.1 + 0 ∗ −0.2 + 0.1 = 0.1 b

𝑦 = 1 (car 𝑧 > 0)
𝐸𝑟𝑟𝑒𝑢𝑟 = 0 − 1 = −1
Mise à jour des poids :
𝑤1 = 0.1 + 0.1 ∗ −1 ∗ 0 = 𝟎. 𝟏
𝑤2 = −0.2 + 0.1 ∗ −1 ∗ 0 = −𝟎. 𝟐
𝑏 = 𝑏 + 0.1 ∗ −1 = 𝟎

Ilef Ben Slima 2024 - 2025 17

Perceptron Simple : Exemple 2
◼ On considère l’exemple de la fonction ET logique (AND).

 Nouveaux poids : 𝑤1 = 0.1 ; 𝑤2 = −0.2; 𝑏 = 0 X1 w1

 Taux d'apprentissage : 𝜆 = 0.1 Y
∑
X2
 Instance 2 : w2
z = 𝑥1 ∗ 𝑤1 + 𝑥2 ∗ 𝑤2 + 𝑏 = 0 ∗ 0.1 + 1 ∗ −0.2 + 0 = −0.2 b

𝑦 = 0 (car 𝑧 < 0)
𝐸𝑟𝑟𝑒𝑢𝑟 = 0 − 0 = 0
Pas de Mise à jour des poids.

Ilef Ben Slima 2024 - 2025 18

Perceptron Simple : Exemple 2
◼ On considère l’exemple de la fonction ET logique (AND).

 Nouveaux poids : 𝑤1 = 0.1 ; 𝑤2 = −0.2; 𝑏 = 0 X1 w1

 Taux d'apprentissage : 𝜆 = 0.1 Y
∑
X2
 Instance 3 : w2
z = 𝑥1 ∗ 𝑤1 + 𝑥2 ∗ 𝑤2 + 𝑏 = 1 ∗ 0.1 + 0 ∗ −0.2 + 0 = 0.1 b

𝑦 = 1 (car 𝑧 > 0)
𝐸𝑟𝑟𝑒𝑢𝑟 = 0 − 1 = −1
Mise à jour des poids :
𝑤1 = 0.1 + 0.1 ∗ −1 ∗ 1 = 𝟎
𝑤2 = −0.2 + 0.1 ∗ −1 ∗ 0 = −𝟎. 𝟐
𝑏 = 0 + 0.1 ∗ −1 = −𝟎. 𝟏

Ilef Ben Slima 2024 - 2025 19

Perceptron Simple : Exemple 2
◼ On considère l’exemple de la fonction ET logique (AND).

 Nouveaux poids : 𝑤1 = 0 ; 𝑤2 = −0.2; 𝑏 = −0.1 X1 w1

 Taux d'apprentissage : 𝜆 = 0.1 Y
∑
X2
 Instance 4 : w2
z = 𝑥1 ∗ 𝑤1 + 𝑥2 ∗ 𝑤2 + 𝑏 = 1 ∗ 0 + 1 ∗ −0.2 − 0.1 = −0.3 b

𝑦 = 0 (car 𝑧 < 0)
𝐸𝑟𝑟𝑒𝑢𝑟 = 1 − 0 = 1
Mise à jour des poids :
𝑤1 = 0 + 0.1 ∗ 1 ∗ 1 = 𝟎. 𝟏
𝑤2 = −0.2 + 0.1 ∗ 1 ∗ 1 = −𝟎. 𝟏
𝑏 = −0.1 + 0.1 ∗ 1 = 𝟎

Ilef Ben Slima 2024 - 2025 20

Perceptron Simple : Exemple 2
◼ On considère l’exemple de la fonction ET logique (AND).

 Nouveaux poids : 𝑤1 = 0 ; 𝑤2 = −0.2; 𝑏 = −0.1 X1 w1

 Taux d'apprentissage : 𝜆 = 0.1 Y
∑
X2
 Refaire jusqu’à ce que toutes les w2
instances soient classées b
correctement.

Ilef Ben Slima 2024 - 2025 21