Chapitre 2
Apprentissage Automatique
(Machine Learning)
Plan du chapitre
1. Introduction
2. Domaines d'applications
3. Processus ML
4. Méthodes d’apprentissage
5. Mesure de performance
2
01
Introduction
Contexte
● De manière générale, un programme informatique tente de résoudre un
problème pour lequel nous avons la solution.
Par exemple : calculer la moyenne générale des étudiants, classer les étudiants
selon leur moyenne. . .
● Pour certains problèmes, nous ne connaissons pas de solution exacte et donc
nous ne pouvons pas écrire de programme informatique.
Par exemple : reconnaître automatiquement des chiffres écrits à la main à partir
d’une image scannée, déterminer automatiquement une typologie des clients
d’une banque, jouer automatiquement aux échecs contre un humain ou un autre
programme ...
En revanche, pour ces problèmes, il est facile d’avoir une base de données
regroupant de nombreuses instances du problème considéré. 4
Machine learning vs programmation classique
5
Définition
● L’apprentissage automatique est une des
familles essentielles de techniques pour
l’Intelligence Artificielle
● Il consiste à amener les ordinateurs à
apprendre et à agir comme les êtres
humains, et à améliorer leur apprentissage
de manière automatique, en se nourrissant
de données.
● Cela passe par le développement
d’algorithmes permettant de rendre une
machine autonome sans avoir été
explicitement programmée dans ce but.
6
ML: Un domaine pluridisciplinaire
7
ML & matières connexes
▪ La science des données (Data
Science): approche pluridisciplinaire
pour l’extraction de connaissances à
partir de données hétérogènes
▪ Les données massives (Big Data):
solution dessinée pour permettre à
tout le monde d’accéder en temps
réel à des bases de données
géantes.
⇒ Problématique des 3V (volume,
variété, vélocité) 8
02
Domaines d'applications
Applications du ML
▪ Recherche Web : Classement des informations en fonction de ce sur
quoi vous êtes le plus susceptible de cliquer.
▪ Finance : Evaluation du risque sur les offres de crédit. Comment décider
où investir de l’argent.
▪ E-commerce : Prédire le désabonnement des clients. Afficher les
produits en fonction des préférences de chaque utilisateur.
▪ Robotique : La gestion des incertitudes dans les nouveaux
environnements. Voiture autonome.
▪ Réseaux sociaux: Données sur les relations et les préférences.
10
Applications du ML
11
Applications : Reconnaissance d’image
la reconnaissance d’images consiste à analyser les pixels et
les formes d’une image pour reconnaître l’image comme un
objet particulier.
12
Applications : Assistant personnel virtuel
Comme leur nom l'indique, les assistants personnels virtuels
aident à trouver des informations utiles, lorsqu'on leur
demande par texte ou par voix.
Voici quelques-unes des principales applications de
l'apprentissage automatique :
▪ Reconnaissance de la parole
▪ Conversion parole en texte
▪ Traitement du langage naturel
▪ Conversion de texte en parole
13
Applications : Diagnostique médical
Les systèmes de ML sont utilisés dans le domaine de la
médecine, pour étudier les résultats et rechercher certains
maladies par exemple, mais également pour établir des
diagnostics à partir de rapports de pathologie.
14
Applications : Diagnostique médical
L'ordinateur apprend à
prédire la prédisposition de
patients à une maladie sur
la base de données
génétiques associées à des
cas de patients confirmés
malades ou sains.
15
Applications : filtrage des spams sur le Web
16
Applications : Recommandations de produits
35% des revenus d'Amazon sont générés par les
recommandations de produits.
⇒ Eh bien, cela se produit parce que Google suit votre
historique de recherche et recommande des annonces en
fonction de votre historique de recherche.
17
Applications : Détection de fraudes
Le nombre de transactions a augmenté. Dans le même
temps, de nombreux criminels sont devenus aptes à trouver
des failles.
Chaque fois qu'un client effectue une transaction, le modèle
d'apprentissage automatique vérifie minutieusement son profil
à la recherche de schémas suspects. 18
Applications : Traduction
19
Applications : Alertes de trafic
Tous ceux qui utilisent des cartes fournissent leur emplacement,
leur vitesse moyenne, l'itinéraire sur lequel ils voyagent.
Cela aide Google à collecter des données massives sur le trafic, ce
qui leur permet de prédire le trafic à venir et d'ajuster votre itinéraire
en fonction de celui-ci.
20
Applications : Réseaux sociaux
Facebook utilise la détection de visage et la reconnaissance
d'image pour trouver automatiquement le visage de la personne qui
correspond à sa base de données et nous suggère donc de
marquer cette personne en fonction de DeepFace.
Les suggestions automatiques de marquage d'amis sur Facebook
ou sur toute autre plate-forme de médias sociaux.
21
Applications : Voitures autonomes
Tesla est le leader dans ce secteur.
La partie IA est dirigée par le fabricant de matériel NVIDIA.
Le modèle collecte les données de tous ses véhicules et de
ses conducteurs.
Il utilise des capteurs internes et externes qui font partie de
l’IOT pour détecter des personnes ou des objets 22
03
Processus ML
Chaîne du processus ML
1
Récupération Algorithme
Dataset des données ML
Exploration Nettoyage Normalisation Evaluation
Modélisation Déploiement
&
Réglage
2 Préparation des données 3 5
Réitérer jusqu'à ce que les performances
du modèle soient satisfaisantes
24
Chaîne du processus ML
Etape 1: Récupération des données
Collecter des données qui peuvent être :
▪ de différentes sources :
o entrepôts de données
o Web
o capteurs,
o …
▪ et de différents types :
o Numériques
o Textuelles
o Images/Graphes
o Séquences
o … 25
Chaîne du processus ML
1
Récupération Algorithme
Dataset des données ML
Exploration Nettoyage Normalisation Evaluation
Modélisation Déploiement
&
Réglage
2 Préparation des données 3 5
Réitérer jusqu'à ce que les performances
du modèle soient satisfaisantes
26
Chaîne du processus ML
Etape 2: Préparation des données
a. Exploration
▪ Faire un inventaire des données
o Typologie: Numériques , Temporelles, Textes, Binaires, ...
o Variables catégorielles, discrètes ou continues
o Nombre d'observations (nombre de lignes)
o Nombre de caractéristiques/features/variables (nombre de colonnes)
▪ Détecter les anomalies:
o Outliers (valeurs aberrantes)
o Valeurs manquantes
o Corrélations 27
Chaîne du processus ML
Etape 2: Préparation des données
b. Nettoyage
Préparer les features/variables afin qu'elles soient utilisables par des
algorithmes du ML:
o Remplacer ou supprimer les valeurs manquantes/ aberrantes
o Transformer des données (variables) au format numérique
c. Normalisation
Il s' agit d'une mise à l'échelle des valeurs numériques pour ne pas avoir
un grand écart entre les valeurs..
28
Chaîne du processus ML
1
Récupération Algorithme
Dataset des données ML
Exploration Nettoyage Normalisation Evaluation
Modélisation Déploiement
&
Réglage
2 Préparation des données 3 5
Réitérer jusqu'à ce que les performances
du modèle soient satisfaisantes
29
Chaîne du processus ML
Etape 3: Modélisation
Transmettre à l’algorithme ML les données divisées en :
o Données d'entrainement: sous-ensemble destiné à l'apprentissage
d'un modèle.
o Données de test : sous-ensemble destiné à l'évaluation du modèle.
Ce jeu de données ne doit en aucun cas être utilisé dans les
données d'entrainement.
30
Chaîne du processus ML
1
Récupération Algorithme
Dataset des données ML
Exploration Nettoyage Normalisation Evaluation
Modélisation Déploiement
&
Réglage
2 Préparation des données 3 5
Réitérer jusqu'à ce que les performances
du modèle soient satisfaisantes
31
Chaîne du processus ML
Etape 4: Evaluation & Réglage
▪ Validation du modèle: Observer les performances du modèle sur de
nouvelles données
▪ La mesure de performances s’effectue à travers un ensemble de
métriques et selon le type du problème.
▪ Optimisation des hyperparamètres pour obtenir des modèles avec les
meilleurs résultats.
32
Chaîne du processus ML
1
Récupération Algorithme
Dataset des données ML
Exploration Nettoyage Normalisation Evaluation
Modélisation Déploiement
&
Réglage
2 Préparation des données 3 5
Réitérer jusqu'à ce que les performances
du modèle soient satisfaisantes
33
Chaîne du processus ML
Etape 5: Déploiement
▪ Intégrer la solution: mettre en place une interface d' exécution
▪ Prendre en considération l'évolution des données sur les quelles est
basé l'apprentissage
▪ Surveiller en fonction des prédictions et des résultats
▪ Créer des stratégies business
34
Terminologie
L’apprentissage artificiel apprend à produire à partir de données d’entrée des
prédictions utiles sur des données encore jamais vues.
Dataset
Un ensemble de données qui peuvent être traitées par un ordinateur comme une
seule unité à des fins d'analyse et de prédiction. Ce Dataset inclut toujours 2 types
de variables :
• Une ou plusieurs variables caractéristiques (features) x
• Une variable objectif (target) y
Caractéristiques (features)
Une caractéristique est une variable d’entrée. Par exemple dans un détecteur de
spam, les caractéristiques pourraient être les mots du mail, l’adresse de
l’expéditeur, ...
35
Terminologie
Etiquettes (labels)
Une étiquette est la “chose” que nous essayons de prédire. Par exemple
le prix d’une pizza, la race d’un animal sur une photo, l’auteur d’un texte,
…
Exemple
Dans un mail, on distingue :
1. Exemples étiquetés :
Des mails déjà étiquetés comme spam/non spam.
2. Exemples non étiquetés :
Des mails non étiquetés
36
Terminologie
Modèle (Model)
Un modèle est le résultat d’un algorithme ML qui a été entraîné en
lui fournissant un sur un ensemble de données, qu’il peut utiliser
pour raisonner et apprendre de celles-ci. Un modèle définit la
relation entre les caractéristiques et l’étiquette. Il est composé de 2
phases :
1. L’entrainement (training) : Le modèle apprend les relations
entre les caractéristiques et l’objectif à partir d’exemples.
2. L’inférence (test) : consiste à appliquer le modèle entrainé sur
des exemples non connus pour faire des prédictions.
37
Terminologie
L’entrainement (training)
L’entrainement consiste à trouver les meilleurs poids et biais
possibles à partir des exemples connus. Par exemple, il s’agit de
trouver un bon modèle qui permet de prédire le prix d’une pizza en
fonction de sa taille, à partir des tailles et prix des pizzas que l’on
connait.
La perte (loss)
Il existe une infinité de modèles, il faut pouvoir les comparer et
mesurer leur efficacité. La perte est la pénalité obtenue pour les
mauvaises prédictions. Pour un modèle parfait, la perte sera de 0.
Un mauvais modèle aura une grande perte. 38
04
Méthodes d’apprentissage
Méthodes d’apprentissage
Tous les modèles de Machine Learning sont classés en 3 catégories
Régression
Supervisé
Classification
Regroupement
ML Non Supervisé
Association
Réduction de
Par dimensions
renforcement
40
41
Méthodes d’apprentissage
1. Supervisé : on dispose d’un ensemble d’objets et chacun une valeur cible
associée;
Il faut apprendre un modèle capable de prédire la bonne valeur cible d’un
nouvel objet.
2. Non supervisé : on dispose d’un ensemble d’objets sans aucune valeur cible
associée ;
Il faut apprendre un modèle capable d’extraire les régularités présentes au sein
des objets pour mieux visualiser ou appréhender la structure de l’ensemble
des données.
3. Par renforcement : on dispose d’un ensemble de séquences de décisions, et
pour chaque action de chaque séquence une valeur de récompense positive
ou négative) ;
Il faut apprendre un modèle capable de prédire la meilleure décision à prendre
42
étant donné un état de l’environnement.
Algorithmes d’apprentissage
43
4.1
Apprentissage
Supervisé
44
Définition
Données labellisés
Ca consiste à apprendre faire des prédictions de nouveaux
objets à partir d'exemples étiquetés (labélisés)
45
Définition
D’une manière générale, la machine peut apprendre une relation f : x ⇒ y
qui relie x à y en ayant analysé des millions d’exemples d’associations
x ⇒ y.
46
Régression
Le problème de régression consiste à prédire la valeur d’une variable
continue comme :
Exemples:
● Prix de l’immobilier
● Valeur d’une action boursière
● Température qu’il fera demain ou dans 10 ans
● Somme du panier achat client
● Consommation électrique d’une usine
● Position du bras d’un robot en automatique
47
Régression
Exemple :
Prédire la taille en fonction d’un âge. Par exemple, quelle est la taille d’un
enfant de 8 ans?
48
Régression
Exercice :
Laquelle des tâches suivantes est une tâche de régression ?
▪ Prédire l’âge d’une personne
▪ Prédire la nationalité d’une personne
▪ Prédire si le cours de l’action d’une entreprise augmentera
demain
▪ Prédire si un document est lié à l’observation d’ovnis ?
▪ Prédire le montant des ventes d’une entreprise compte
tenu du contexte économique
49
Régression
Exercice :
Laquelle des tâches suivantes est une tâche de régression ?
▪ Prédire l’âge d’une personne
▪ Prédire la nationalité d’une personne
▪ Prédire si le cours de l’action d’une entreprise augmentera
demain
▪ Prédire si un document est lié à l’observation d’ovnis ?
▪ Prédire le montant des ventes d’une entreprise compte
tenu du contexte économique
50
Classification
Les problèmes de Classification, qui consiste
à prédire la valeur d’une variable discrète :
Exemples:
▪ Est-ce que l’email est un spam ?
▪ Est-ce-que ce logiciel est un malware ?
▪ Est-ce que la radio montre une fracture ?
▪ Est-ce que les analyses médicales
montrent un cancer ?
▪ Quel animal est sur la photo ? Chien ?
Chat ? Renard ? 51
Classification
Exemple :
Distinguer les 3 types de fleurs présentées ci-dessous.
52
Classification
Exercice :
Lequel des problèmes suivants est un problème de
classification ?
▪ Prédire le sexe d’une personne par son style d’écriture
▪ Prédire le prix d’une maison en fonction de la zone
▪ Prédire si la mousson sera normale l’année prochaine
▪ Prédire le nombre d’exemplaires qu’un album de musique sera vendu
le mois prochain
▪ Prédire un chiffre correct à partir d’une image scannée d’un chiffre écrit
à la main 53
Classification
Exercice :
Lequel des problèmes suivants est un problème de
classification ?
▪ Prédire le sexe d’une personne par son style d’écriture
▪ Prédire le prix d’une maison en fonction de la zone
▪ Prédire si la mousson sera normale l’année prochaine
▪ Prédire le nombre d’exemplaires qu’un album de musique sera vendu
le mois prochain
▪ Prédire un chiffre correct à partir d’une image scannée d’un chiffre écrit
à la main 54
4.2
Apprentissage Non
Supervisé
55
Définition
Il s'agit donc de découvrir les structures sous-jacentes à des
données non étiquetées.(labélisés)
56
Définition
Il s'agit donc de découvrir les structures sous-jacentes à des
données non étiquetées(labélisés).
57
Regroupement
Le regroupement (clustering) vise à séparer les données en groupes
homogènes ayant des caractéristiques communes:
▪ Etant donné un ensemble de points, chacun ayant un ensemble
d’attributs, et une mesure de similarité définie sur eux, trouver des
groupes (classes, segments, clusters) tels que :
o Les points à l’intérieur d’un même groupe sont très similaires entre eux.
o Les points appartenant à des groupes différents sont très dissimilaires.
▪ Le choix de la mesure de similarité est important.
58
Regroupement
Classe/cluster: Notion ambiguë
59
Regroupement
Les problématiques
▪ Nature des observations : données binaires, textuelles,
numériques, ... ?
▪ Notion de similarité (ou de dissimilarité entre
observations)
▪ Définition d’un cluster
▪ Evaluation de la validité d’un cluster
▪ Nombre de clusters pouvant être identifiés dans les
données
▪ Comparaison de différents résultats de clustering
60
Regroupement
Plusieurs types de clustering :
▪ Par partitionnement : 2 classes sont toujours disjointes.
Principe : partitionnement des objets et évaluation des
partitions.
▪ Hiérarchique : 2 classes sont disjointes ou l’une contient
l’autre.
Principe : décomposition hiérarchique d’ensembles
d’objets.
▪ …
61
Regroupement
Regroupement par partitionnement
62
Regroupement
Regroupement hiérarchique
63
Regroupement
Exercice :
Lequel des problèmes suivants est un problème de
regroupement ?
▪ Web mining : pages web proches
▪ BioInformatique : gènes ressemblants
▪ Marketing : segmentation de la clientèle
64
Regroupement
Exercice :
Lequel des problèmes suivants est un problème de
regroupement ?
▪ Web mining : pages web proches
▪ BioInformatique : gènes ressemblants
▪ Marketing : segmentation de la clientèle
65
Association
Le but est de découvrir des relations intéressantes entre des
variables qui vont nous permettre par exemple de prédire de
futurs achats dans un magasin, ou encore de repérer des
similarités dans le domaine de la génétique.
Il s’agit donc principalement de mettre en place des méthodes
d’exploration de base de données en se basant sur des
critères comme le niveau d’occurrence d’un ou plusieurs
éléments au sein d’un jeu de données.
Exemple:
{ Oeufs, Farine } => { Sucre } 66
4.3
Apprentissage par
renforcement
67
Apprentissage par renforcement
▪ La machine génère elle-même ses propres expériences:
sous forme d’agent, elle a la liberté d’entreprendre des
actions au sein d’un environnement.
▪ Selon l’action entreprise, l’environnement modifie l’état de
l’agent et donne une récompense positive ou négative
associée à cet état. Ceci constitue une nouvelle
expérience.
▪ Au sein du programme, il y a un algorithme qui développe
une politique d’actions dans le but de maximiser le nombre
de récompenses positives, c’est-à-dire améliorer la
performance. 68
Apprentissage par renforcement
Exemple :
▪ Imaginons que notre Agent soit une voiture. A chaque instant, la voiture
peut choisir d’entreprendre des actions dans son Environnement qui est la
route : elle peut freiner, accélérer, tourner à gauche, ou tourner à droite.
▪ Si l’Agent choisi de tourner à gauche alors qu’il s’y trouve un mur, L’état de
la voiture va passer de ‘Normal‘ à ‘Accidenté‘, et l’Environnement va
donner à l’Agent une récompense négative. Ainsi l’algorithme qui cherche
à maximiser les récompenses va modifier sa politique d’action pour ne plus
refaire un tel ‘accident’.
▪ Le programme apprend à conduire : il améliore sa performance P à ne pas
faire d’accident grâce à une nouvelle expérience E. 69
Apprentissage par renforcement
Applications :
▪ Les voitures autonomes,
▪ Les drones,
▪ La robotique
▪ Les jeux
⇒ Grâce à ce type de Machine Learning que Deep Mind a
élaboré AlphaGo et AlphaZero pour jouer au Go.
70
Exercice de synthèse
Classer chaque exemple dans la catégorie adéquate:
▪ Créer une campagne marketing hyper-personnalisée en
fonction des raisons de visite des consommateurs en
magasin
▪ Prédiction d’un AVC d’après les données d’un
électrocardiogramme.
▪ Prédiction du cours de la bourse
▪ Classifier les clients d’après leur historique de navigation
sur un site
▪ Evaluer la gravité d’un cancer
▪ Evaluer le risque de décès en pourcentage d’un cancer
▪ Text mining : textes proches, dossiers automatiques
▪ Recherche de complications dues à la prise de plusieurs
médicaments en même temps 71
Exercice de synthèse
Classer chaque exemple dans la catégorie adéquate:
▪ Créer une campagne marketing hyper-personnalisée en
Classification
fonction des raisons de visite des consommateurs en
magasin
▪ Prédiction d’un AVC d’après les données d’un Classification
électrocardiogramme.
▪ Prédiction du cours de la bourse Régression
▪ Classifier les clients d’après leur historique de navigation Regroupement
sur un site
▪ Evaluer la gravité d’un cancer Classification
▪ Evaluer le risque de décès en pourcentage d’un cancer Régression
▪ Text mining : textes proches, dossiers automatiques Regroupement
▪ Recherche de complications dues à la prise de plusieurs Association
médicaments en même temps 72