Réseaux de neurones artificiels

Pr. Nabil Benoudjit

Université de Batna -2-

Email: [email protected]

-1
 Modèle linéaire
(Régression linéaire
simple et Multiple)

-2
 Comment construire et évaluer un modèle?

Etapes d’apprentissage et de validation Etape de test

Variables indépendantes Nouvelle variables

mesurées (capteur)
Modélisation indépendantes mesurées
Calcul
(linéaire/non-linéaire) (capteur) de Prédiction

Paramètres du
Variables dépendantes
Paramètres du Modèle sélectionné
mesurées (expert)
Modèle sélectionné
Estimation de la
variable dépendante
Human expert

Remarque: Pour le modèle linéaire on a besoin seulement de deux étapes

• Apprentissage (Estimation des paramètres du modèle)
• Test (Tester les performances du modèle) -3

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Apprentissage automatique?
 But:
 Trouver la relation entre les variables indépendants et la
variable dépendante en utilisant l’apprentissage automatique.
 L'apprentissage automatique est une technique de modélisation qui
implique des données.
 L'apprentissage automatique est une technique qui permet
d'élaborer un "modèle" à partir de "données".
 Les données signifient littéralement des informations telles que
documents, audio, images, etc.
 Le "modèle" est le produit final de l'apprentissage automatique.
 Le mot « apprentissage" reflète le fait que la technique analyse les
données et trouve le modèle par elle-même plutôt que de demander
à un humain de le faire.
 Nous l'appelons "apprentissage" parce que le processus ressemble
à un entraînement avec les données pour résoudre le problème de
la recherche d'un modèle. Par conséquent, les données que
l'apprentissage automatique utilise dans le processus de -4
modélisation sont appelées données "d’apprentissage".
Base de données (Datasets) (1)
 Avant de construire un modèle, les échantillons sont souvent
subdivisés en ensembles de données d’apprentissage, de
validation et de test. Les distinctions entre ces ensembles sont
cruciales, mais les termes d’ensemble de données de validation et
d’ensemble de données de test sont souvent confondus dans la
littérature.
 Ensemble d’apprentissage (Training set):

 L'ensemble de données d’apprentissage est utilisé pour

apprendre ou construire un modèle. Par exemple, dans la
régression linéaire, l'ensemble de données d'apprentissage est
utilisée pour ajuster le modèle de régression linéaire, à savoir
pour calculer les coefficients de régression. Dans un modèle non
linéaire tel que un réseau neuronal, l'ensemble de données
d'apprentissage est utilisée pour estimer les poids de réseau.

-5
Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE
Base de données (Datasets) (2)
 Validation dataset:
 Une fois qu'un modèle est construit sur des données d’apprentissage,
nous devons trouver la précision du modèle sur les données inconnues.
A cet effet, le modèle doit être utilisé sur un ensemble de données qui
n'a pas été utilisé dans le processus d’apprentissage. Si nous devions
utiliser les mêmes données d’apprentissage pour calculer la précision
de l'ajustement du modèle, nous obtenons une estimation trop optimiste
de la précision du modèle. En effet, le processus d’apprentissage
garantit que la précision du modèle sur les données d'apprentissage
est aussi élevée que possible - le modèle est spécifiquement adapté
aux données d'apprentissage. Pour obtenir une estimation plus réaliste
de la façon dont le modèle se comporte avec des données inconnues,
nous avons besoin de mettre de côté une partie des données d'origine
et de ne pas l'utiliser dans le processus d’apprentissage. Cette base de
données est connu sous le nom d'ensemble de données de validation.
Après ajustement du modèle sur l'ensemble de données
d’apprentissage, nous devrions tester ses performances sur cet
ensemble.
-6

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Base de données (Datasets) (3)
 Test dataset:

 L'ensemble de validation est souvent utilisé pour trouver le

meilleur modèle non linéaire. Par exemple, nous pourrions
essayer différents modèles de réseaux neuronaux avec diverses
architectures (par exemple avec différent nombre de neurones
dans la couche cachée du RBF) et de tester la précision de
chacun sur l'ensemble de données de validation pour choisir la
meilleure architecture (les meilleurs paramètres).
 Ainsi, nous avons besoin de mettre de côté une autre partie des
données, qui n’est pas utilisé ni en apprentissage, ni dans la
validation. Cet ensemble est connu sous le nom d’ensemble de
données de test. La précision du modèle sur les données de test
donne une estimation réaliste de la performance du modèle sur
des données complètement inconnus.

-7
Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE
Base de données (Datasets) (4)

-8

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Classification et régression

 Les deux types d'application les plus courants de l'apprentissage

supervisé sont la classification et la régression.
 La classification est l'application la plus courante de l'apprentissage
automatique.
 Le problème de la classification consiste à trouver littéralement les
classes auxquelles les données appartiennent. Quelques exemples
peuvent être utiles.
 Service de filtrage des emails spams ➔ Classe les emails selon
qu'ils sont normaux ou spams.
 Service de reconnaissance de chiffres ➔ Classifie l'image du
chiffre dans l'une des catégories 0-9.
 Service de reconnaissance faciale ➔ Classe l'image du visage
dans l'une des catégories d'utilisateurs enregistrés.

-9

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Exemple de base de données pour un
problème de classification

- 10

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Exemple de base de données pour un
problème de régression
 En revanche, la régression ne détermine pas la classe. Elle estime
plutôt une valeur. Par exemple, si vous disposez d'ensembles de
données sur l'âge et le revenu et que vous souhaitez trouver le
modèle qui estime le revenu en fonction de l'âge, il s'agit d'un
problème de régression.

Remarque : La classification et la régression font toutes deux partie de l'apprentissage supervisé. Par
conséquent, leurs données d’apprentissage se présentent également sous la forme de {entrée, sortie correcte}.
La seule différence réside dans le type de sorties correctes : la classification utilise des classes, tandis que la
- 11
régression requiert des valeurs.
Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE
 Régression Linéaire simple (1)
Liaison linéaire entre X et Y
 Avant d’estimer la droite de régression, il faut vérifier:
 empiriquement (graphiquement) que la liaison entre les 2
variables est de nature linéaire.
 A défaut, l’interprétation du test de la pente de la droite de
régression peut être erronée.

Cas 1:
y
* La nature de la liaison est linéaire (le nuage de
points est résumé au mieux par une droite
horizontale d’équation y = b)
* La condition d’application est vérifiée
* Il est possible d’utiliser la régression linéaire
simple pour quantifier la liaison entre les 2
variables. x
(Conclusion : X et Y sont indépendants [Y
constant quelle que soit la valeur de X]).

- 12

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Régression Linéaire simple (2)
Cas 2:

* Le nuage de points n’est pas résumé au mieux par une droite mais plutôt par une fonction
quadratique.

La condition d’application n’est pas vérifiée.

(Conclusion: Il ne faut pas utiliser la régression linéaire simple pour quantifier la liaison entre
les 2 variables x et y)

- 13

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Régression Linéaire simple (3)
Cas 3:
y

• La nature de la liaison est linéaire (le nuage de points est résumé au mieux par une droite
d’équation y = a*x + b ).
• La condition d’application est vérifiée.
• Il est possible d’utiliser la régression linéaire simple pour quantifier la liaison entre les 2
variables.

(Conclusion : il existe une liaison linéaire entre X et Y)

- 14

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Régression Linéaire simple (4)

 La régression s’adresse à un type de problème où les 2 variables

quantitatives continues x et y ont un rôle asymétrique : la variable y dépend
de la variable x.
 La liaison entre la variable y dépendante (dite expliquée) et la variable x
indépendante (dite explicative) peut être modélisée par une fonction de
type y = a*x + b, représentée graphiquement par une droite.
 La variable x, peut être soit aléatoire, soit contrôlée c'est-à-dire qu'elles est
connue sans erreur.
y

- 15

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Estimation des paramètres par la méthode des moindres carrés (1)

* Chaque échantillon (individu) i est caractérisé par un couple de

coordonnées (xi, yi) et est représenté par un point sur le graphique.
• L’ensemble des individus forme un nuage de points.
• (x1, y1), (x2, y2), …………..(xn, yn).
• L’objectif de trouver y = f(x) où f fonction linéaire donc y = a*x + b

- 16

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Estimation des paramètres par la méthode des moindres carrés (2)

y
Mi(xi,b+a*xi)
yi

ei= (yi – (a*xi+b)) b + a*xi G

Pi(xi, b+a*xi)

x
xi

- 17

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Estimation des paramètres par la méthode des moindres carrés (3)
y
Mi(xi,b+a*xi)
yi

ei= (yi – (a*xi+b)) b + a*xi G

Pi(xi, b+a*xi)

x
xi

- 18

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Estimation des paramètres par la méthode des moindres carrés (4)

- 19

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Estimation des paramètres par la méthode des moindres carrés (5)

- 20

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Estimation des paramètres par la méthode des moindres carrés (6)

- 21

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Estimation des paramètres par la méthode des moindres carrés (7)

- 22

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Estimation des paramètres par la méthode des moindres carrés (8)

 En statistique on peut écrire ceci:

- 23

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Sous la forme matricielle

- 24

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Critères de performances:

- 25

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Exemple 1 Régression linéaire (1)
 L’analyse de la température de fonctionnement d’un procédé
chimique sur le rendement du produit a donné les valeurs suivante
pour la température xi et le rendement correspondant yi.
Température °C [100 110 120 130 140 150 160 170 180 190]
Rendement % [49 55 54 64 69 70 73 76 85 89]
100

90

80
Rendement en %

La figure suivante représente 70

le nuage de points pour ces
données et suggère une 60
relation linéaire
50

40
80 100 120 140 160 180 - 26 200
Température en °C
Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE
Exemple 1 Régression linéaire (2)
 Donc le modèle de la droite est : y = a *x + b
 En utilisant les deux équations ci-dessous on estime la meilleure
droite de régression
100
Nuage de points
Le point G
90 droite de regression

80

Rendement en %
70

60

50
Après calcul:
Y = a*x + b = 0,4291*x + 6,1818
40
80 100 120 140 160 180 200
Température en °C
Avec : R2 = 0,9710 et MSE = 4,5418 - 27

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Exemple 2 Régression linéaire (1)
 Trouver la meilleure droite à travers les couples de points suivants:
X = [0 1 2 3 4 5]
Y= [0 1.4 2 2.55 4.7 5.7]

Y 3

2
La figure suivante représente
le nuage de points pour ces 1

données et suggère une

relation linéaire 0

-1
-1 0 1 2 3 4 5 6
X

- 28

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Exemple 2 Régression linéaire (2)


6
Nuage de points
5 Le point G
droite de regression

3
Y

Après calcul:
0
Y = a*x + b = 1,1129*x – 0,0571
-1
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
Avec : R2 = 0,96 et MSE = 0,1360 X
- 29

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Régression Linéaire Multiple (MLR) (1)

 La régression linéaire multiple est une méthode d'analyse de

données quantitatives. Elle a pour but de mettre en évidence la
liaison pouvant exister entre une variable dite expliquée, que l'on
notera Y et plusieurs autres variables dites explicatives que l'on
notera X1, X2, ... , Xk.

 Les k variables Xi, i = 1, ... , k peuvent être soit aléatoires, soit

contrôlées c'est-à-dire qu'elles sont connues sans erreur. Nous
supposerons dans la suite que les variables Xi, i = 1, ... , k sont
contrôlées. Nous nous intéressons aux modèles dit linéaires, c'est-
à-dire aux modèles du type :

Y = a0 +a1X1 + a2X2 + ... +akXk

- 30

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Régression Linéaire Multiple (MLR) (2)

 dans lequel a0, a1, ... , ak sont des réels appelés coefficients
du modèle.
 Le modèle de la Régression Linéaire Multiple (MLR) sous la forme
matricielle est sous la forme suivante:

y =Xb + e

 L’estimation des coefficients du modèle inconnus constitué par le

vecteur b est réalisée en minimisant une fonction coût, par exemple
la somme des carrés résiduels:

- 31

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Régression Linéaire Multiple (MLR) (3)

 Quand m = n+1, (m est le nombre d’échantillons (observations) et n

est le nombre de variables)

 quand m > n+1

- 32

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Régression Linéaire Multiple (MLR) (4)

 Quand m < n+1

 NB: Souvent dans la pratique la matrice X comprend plus de

variables que d’échantillons, alors la colinéarité est garantie.

- 33

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

Exemple 1: Régression linéaire Multiple (1)
 Trouver la régression linéaire multiple liant les variables explicatives
x1 et x2 avec la variable expliquée y.
y = a1*x1 + a2*x2 + b
Y désirés
x1 = [1 3 4 7 9 9] Y estimés

x2 = [9 9 6 3 1 2] 10

Y = [3 5 6 8 7 10] 8

[ y-désiré y-estimé erreur]

6

Y
3 3,2734 0,0748
5 5,4714 0,2222 4

6 5,2812 0,5166 2
10
8 7,2891 0,5054 10
7 8,6276 2,6491 5
5
10 9,0573 0,8887 X2 0 0 X1

Après calcul: R2 = 0,8354

- 34
Y = a1*x1 + a2*x2 + b = 1,0990*x1 + 0,4297*x2 – 1,6227
Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE
Exemple 1: Régression linéaire Multiple (2)
 Les données sont centrés === b = 0
 Le modèle de la régression linéaire multiple liant les variables
explicatives x1 et x2 avec la variable expliquée y.
y = a1*x1 + a2*x2 Yd
Ye
x1 = [-4,5 -2,5 -1,5 1,5 3,5 3,5]
4
x2 = [ 4 4 1 -2 -4 -3]
y = [-3,5 -1,5 -0,5 1,5 0,5 3,5] 2

[ y-désiré y-estimé erreur]

Y-centre
0
-3,5 -3,2266 0,0748
-2
-1,5 -1,0286 0,2222
-0,5 -1,2187 0,5166 -4
4
1,5 0,7891 0,5054 2 5

0,5 2,1276 2,6491 0

0
-2
3,5 2,5573 0,8887 X2-crentre -4 -5 X1-centre

Après calcul: R2 = 0,8354

- 35
Y = a1*x1 + a2*x2 = 1,0990*x1 + 0,4297*x2
Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE
Comparaison entre modèle linéaire et
modèle non linéaire
 Nombre de paramètres fixe
 Nombre de paramètres Variable

 Petit nombre de paramètres

 Grand nombre de paramètres

 Apprentissage direct
 Apprentissage adaptatif

 Pas de minima locaux

 Présence de minima locaux

 Réservé aux problème linéaire

 Valide pour n’importe quel problème

- 36

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE

 Merci pour votre attention

- 37

Pr. N. BENOUDJIT Matière : Intelligence artificielle M1: ESE