Chapitre 4 : Perceptron Multi-Couches MLP
Pr. Samira LAFRAXO
Université Ibnou Zohr, Faculté des Sciences Agadir
Centre d’Excellence IT
[email protected]
Filière: ADIA - S6
Module: Apprentissage Automatique et Visualisation
Avril 2024
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 1 / 32
Plan du Chapitre
1 Limitation d’un classifieur linéaire
2 Le Perceptron Multicouches
3 Comment le MLP apprend ?
4 Topologie d’un MLP
5 Algorithme d’apprentissage d’un MLP
6 Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 2 / 32
Limitation d’un classifieur linéaire
Si les données d’entraı̂nement sont séparables linéairement, le
perceptron simple va trouver cette séparation.
Cependant, la majorité des problèmes de classification ne sont pas
linéaires.
En fait, un classifieur linéaire ne peut même pas apprendre XOR!
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 3 / 32
Limitation d’un classifieur linéaire
Par contre, on pourrait transformer l’entrée de façon à rendre le
problème linéairement séparable sous cette nouvelle représentation.
Dans le cas de XOR, on peut remplacer :
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 4 / 32
Limitation d’un classifieur linéaire
Quelle est donc la solution ?
Dans le perceptron nous avons uniquement les combinaisons linéaires
entre les entrée et de sortie. Cela nous limite à un réseau à couche
unique, car une pile de plusieurs couches linéaires n’est pas meilleure
qu’une transformation linéaire d’une seule couche.
Pour surmonter cette limitation, on va apporter la non linéarité à
notre réseau par l’utilisation des fonctions d’activation non linéaires
au niveau de chaque unité de traitement pour modéliser les relations
non linéaires entre les domaines d’entrée et de sortie. Cette fonction
est la fonction sigmoide.
Cette non linéarité va nous permettre d’utiliser plusieurs couches
cachées dans l’architecture de réseau de neurones. un concept qui
constitue le cœur de l’apprentissage en profondeur ”Deep learning”.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 5 / 32
Le Perceptron Multicouches
Le perceptron simple est un modèle linéaire, par contre la majorité des
phénomènes de la vie réel ne sont pas des phénomènes linéaires, et
dans ces conditions le perceptron simple tous seul n’est pas très utile.
Alors, en connectant ensemble plusieurs neurones, il est possible
de résoudre des problèmes plus complexes qu’avec un seul. Mais,
comment créer un tel modèle complexe?
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 6 / 32
Le Perceptron Multicouches
Nous allons créer des couches intermédiaires (ou couches cachées,
hidden layers en anglais) entre la couche d’entrée et celle de sortie.
Chaque neurone d’une couche est connecté à tous les neurones de la
couche au-dessus de lui. Et voilà ce qu’on appelle un perceptron
multicouches (ou multilayer perceptron, souvent abrégé MLP , en
anglais).
La question qui se pose maintenant c’est: Comment entrainer un
tel modèle complexe?
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 7 / 32
Comment le MLP apprend ?
Les liens entre les neurones ont des poids numériques.
Un poids reflète la force, l’importance, de l’entrée correspondante.
La sortie de chaque neurone est fonction de la somme pondérée de
ses entrées.
Un MLP apprend en ajustant ses poids itérativement jusqu’à ce que
les sorties soient en accord avec les entrées.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 8 / 32
Topologie d’un MLP
Choix du nombre de couches.
Entrées, 1 ou 2 couches cachées, sorties.
Choix du nombre de neurones par couche.
dépend des entrées et sorties.
couches cachées intermédiaires.
Normalisation des variables d’entrées.
Variable continue centrée réduite [-1,+1].
Variable discrète codée ou valeurs attribuées aux entrées.
Sorties booléenne codant les classes.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 9 / 32
Algorithme d’apprentissage d’un MLP
Rétropropagation du gradient
Le problème de l’apprentissage dans les perceptrons multicouches est
de connaitre la contribution de chaque poids dans l’erreur globale du
réseau.
L’algorithme de rétropropagation de l’erreur permet de faire cela.
Les étapes de l’algorithme de rétropropagation :
Forward Propagation: Propagation de l’entrée jusqu’à la sortie.
Cost function: Calcul de l’erreur en sortie.
Back-propagation: Rétropropagation de l’erreur jusqu’aux entrées.
Gradient Descent
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 10 / 32
Algorithme d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 11 / 32
Algorithme d’apprentissage d’un MLP
Activation des neurones :
Chaque neurone d’un neuron le réseau reçoit une entrée de la couche
précédente ou les données d’entrée elles-mêmes.
L’entrée est multipliée par un poids associé à la connexion entre les
neurones et les produits sont additionnés.
Le neurone applique alors une fonction d’activation au valeur
additionnée, qui introduit la non-linéarité dans le réseau. Cette valeur
transformée devient la sortie du neurone et est transmis sur la couche
suivante.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 12 / 32
Algorithme d’apprentissage d’un MLP
Étape 1. Processus de Rétropropagation :
le processus de transmettre des données d’entrée via le réseau
neuronal est appelé feedforward. Pendant la rétroaction, l’entrée les
données sont propagées à travers le réseau, couche par couche, en
commençant par la couche d’entrée.
Chaque neurone dans une couche reçoit les entrées de la couche
précédente et produit une sortie en appliquant le fonction d’activation.
Ce processus se poursuit jusqu’à la couche de sortie est atteinte et la
couche finale des prédictions ou des décisions sont faites.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 13 / 32
Algorithme d’apprentissage d’un MLP
Étape 2. Poids et biais :
Les connexions entre les neurones d’un réseau neuronal sont
représentées par des poids. Ces poids déterminent la force de la
connexion et contrôlent l’impact de l’entrée sur la sortie du neurone.
De plus, chaque neurone possède généralement un terme de biais, qui
agit comme un décalage par rapport à la somme pondérée des entrées.
Les poids et les biais sont appris au cours du processus de formation,
permettant au réseau d’ajuster ses paramètres pour améliorer ses
prédictions.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 14 / 32
Algorithme d’apprentissage d’un MLP
Étape 3. Entraı̂nement avec rétropropagation :
Les réseaux de neurones sont formés à l’aide d’un processus appelé
rétropropagation, basé sur la règle de chaı̂ne du calcul.
La rétropropagation calcule le gradients de la fonction de performance
ou de perte du réseau par rapport aux poids et aux biais.
Les gradients indiquent la direction et l’ampleur des ajustements
requis pour minimiser la différence entre les sorties prédites et les
véritables étiquettes dans les données d’entraı̂nement.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 15 / 32
Algorithme d’apprentissage d’un MLP
Étape 4. Évaluation du modèle :
Une fois le réseau neuronal formé, il peut être évalué sur de nouvelles
données invisibles pour évaluer ses performances.
Les mesures d’évaluation dépendent de la tâche à accomplir, comme
exactitude, précision, rappel, score F1 ou erreur quadratique moyenne.
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 16 / 32
Algorithme d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 17 / 32
Algorithme d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 18 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 19 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 20 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 21 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 22 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 23 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 24 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 25 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 26 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 27 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 28 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 29 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 30 / 32
Exemple d’apprentissage d’un MLP
Pr. Lafraxo Chapitre 4 : Multiple Layer Perceptron Avril 2024 31 / 32
