Chapitre 1
Concepts de base de
l’apprentissage automatique
2018-2019 1
Plan
• Apprentissage
•Apprentissage automatique
•Classification
•Evaluation
2018-2019 2
Apprentissage
2018-2019 3
Apprentissage
•Acquérir de nouvelles connaissances.
•Contracter de nouvelles habitudes.
•Avoir une connaissance extraite à partir d’un ensemble
d’exemples.
C’est la capacité d’améliorer
l’accomplissement d’une tâche en
interagissant avec un environnement.
2018-2019 4
Apprentissage
Automatique
2018-2019 5
Apprentissage automatique=
Machine learning
•Simuler la cognition humaine.
•Doter la machine d’un mécanisme d’apprentissage.
Machine learning = Intersection de l’informatique,
statistiques et domaines particuliers.
Informatique
Domaine
d’application
Statistiques
2018-2019 6
Domaines d’application
Datamining
Exploiter les données historiques pour améliorer les
décisions (Médecine, Banque,…)
Applications non classiques
(Reconnaissance de la parole, Conduite automatique,…)
Programmes auto-adaptatifs
(Lecture des journaux selon le thème,…)
2018-2019 7
Apprentissage supervisé
•On dispose d’un ensemble de paires d'entrée(s)/sortie(s)
de la forme (xi, yi)
•xi : entrée(s) possible(s) Descriptions ou situations
•Yi : sortie(s) associée(s) à xi Actions ou prédictions
•Les paires d'entrée(s)/sortie(s) sont appelées les
exemples qui proviennent d'une fonction inconnue.
•Il s’agit de trouver une bonne approximation d’une
fonction f dont on connaît le résultat que pour un certain
nombre d’exemples.
On demande au système de généraliser
2018-2019 8
Exemples
•Une fonction h aussi proche que possible de f où f(xi) =(yi)
0 0
1 1
4 64 h(x) = x3
5 125
•Une distribution de probabilité P(xi , yi)
•Quelle est la probabilité qu’un client avec tel profil achète tel produit ?
•Dans un jeu de cartes:
•les cartes gagnantes sont: 9♥, Roi ♥ et 7♦.
•les cartes perdantes sont: 3♠, 4♣ et 6♣.
Les cartes rouges sont gagnantes et les cartes numériques noires
sont perdantes
2018-2019 9
Apprentissage supervisé
•Apprentissage supervisé avec variable réponse continue.
Régression, Estimation de densité
•Apprentissage supervisé avec variable réponse discrète.
Classification ou Analyse discriminante
•Apprentissage supervisé avec variable réponse booléenne.
Apprentissage de concept
2018-2019 10
Apprentissage non supervisé
•On ne dispose pas d’un ensemble de paires
d'entrée(s)/sortie(s).
On dispose uniquement d’un ensemble d’entrées.
•Regrouper les entrées en un nombre fixe de groupes
(clusters):
•Les entrées de chaque groupe sont proches les uns des autres.
•On utilise une certaine métrique dans l’espace des entrées.
• Découvrir de nouvelles relations dans les données (ex:
Réseaux Bayésiens).
2018-2019 11
Exemples
•Segmentation du marché
• Quelles sont les catégories principales des clients typiques
dans le domaine vestimentaire?
•Enfants, jeunes, adultes, etc.
•Classique, habillé, sport, etc.
•Domaine médical: Découverte de nouveaux liens
•Il y a un lien entre visiter l’Asie et attraper la tuberculose.
2018-2019 12
Apprentissage semi-supervisé
•L’apprentissage semi-supervisé utilise un ensemble de
données étiquetées et non-étiquetés.
Apprentissage semi-supervisé peut améliorer
les performances en combinant les données
avec labels et sans labels
2018-2019 13
Apprentissage par renforcement
• L’algorithme d’apprentissage doit trouver une stratégie
d’actions pour obtenir éventuellement une récompense (ou
pénalité).
La récompense ou la pénalité arrive (généralement)
suite à un ensemble d’actions
Maximiser le gain (ou inversement) à long terme
(apprentissage de réflexes, apprentissage de planification,…)
2018-2019 14
Exemples
•Jeux d’échecs
•On joue contre un adversaire.
•il y a une stratégie d’actions.
•C’est en fin de partie, qu’on va avoir le résultat de nos
actions:
•Victoire
•Nul
•Défaite
•Contrôle de robots (Aibo)
•Aibo réagit à son environnement,
il peut s’adapter en vue d’obtenir
plus de renforcements positifs.
2018-2019 15
N’oubliez pas
Parmi les tâches de l’apprentissage:
La classification
2018-2019 16
Classification
2018-2019 17
Classification
2018-2019 18
Apprentissage par exemples
•On dispose d’un grand ensemble d’exemples (objets).
•On cherche à trouver une structure relative à ces
exemples pour obtenir un modèle.
•Ce modèle permet de:
oExtraire une procédure de classification à partir
d’exemples.
oClasser un nouvel exemple.
⁞
oPrévoir une valeur numérique.
oComprendre la structure des exemples.
2018-2019 19
Ensemble d’apprentissage
2018-2019 20
Ensemble test
2018-2019 21
Domaines d’application
•Banque: attribution de crédits.
oUtiliser un historique de crédits accordés et non
accordés avec la situation personnelle du client.
•Médecine: aide au diagnostic
oCaractériser les symptômes des anciens patients
et de leurs maladies.
•Marketing: établir un profil client
oFaire une segmentation automatique des clients
pour le marketing direct.
2018-2019 22
Domaines d’application
•Analyse financière: prévision d’évolution des marchés
•Assurance: analyse de risques
•Télécoms: détection de fraudes
•Sécurité: détection d’intrusions
2018-2019 23
Approche paramétrique
•Proposition d’un modèle dont on estime ses paramètres
à partir des exemples (phase d’apprentissage).
•Les hypothèses que l’on fait sur les lois de probabilité
font partie d’une famille de distributions.
oSi on sait que P est une distribution normale, il suffit
d’estimer ses deux paramètres
oSa moyenne
oSon écart type
Avoir une bonne approximation de la distribution P.
Déterminer une procédure de classification.
2018-2019 24
Approche non paramétrique
•Pas d’hypothèses sur le modèle que suivent les données.
•Les problèmes à résoudre sont plus complexes que
ceux traités par les méthodes paramétriques.
oMéthodes statistiques.
oMéthodes issues de l’intelligence artificielle.
2018-2019 25
Classification supervisée
•Les classes sont définies a priori.
•Découverte de règles ou formules pour ranger les
données dans des classes prédéfinies.
oConstruction d'un modèle sur les données dont la
classe est connue (Ensemble d’apprentissage).
oUtilisation pour classification des nouveaux objets.
2018-2019 26
Exemples
•Arbres de décision
•Méthodes K plus proches voisins
•Réseaux de neurones
•Machines à vecteurs supports (SVM)
.
.
.
2018-2019 27
Classification non supervisée
•Les instances d’apprentissage ne sont pas fournies avec
des classes.
L’ensemble d’apprentissage n’est pas étiqueté (on ne
connaît pas les classes a priori).
•Intuitivement les objets de même classe sont “proches”
les uns des autres.
Mesure de similarité ou de distance
Regrouper les exemples similaires:
Segmentation et cluster
2018-2019 28
Exemples
•Centres mobiles
•Réseaux de Kohonen
.
.
.
2018-2019 29
Réduction de multi-classes à
deux classes
•Problème de classification à plusieurs classes.
Plusieurs problèmes de classification binaire
•C’est la méthode un contre tous mais qui n’est pas
forcement la meilleure.
2018-2019 30
Evaluation
2018-2019 31
Evaluation
•Utilisation d’un ensemble test.
•Pourcentage de classification correcte (PCC).
•Taux d’erreur de classification.
•Utilisation de la validation croisée.
2018-2019 32
Pourcentage de Classifcation
Correcte (PCC) (1)
2018-2019 33
Pourcentage de Classifcation
Correcte (PCC) (2)
2018-2019 34
Matrice de confusion
•Bon classifieur: sur les diagonales.
•Identifier les classes mal comprises (apprises).
•Comparer les classifieurs selon la classe.
•Fixer des pénalités.
2018-2019 35
Validation croisée
•Partition de l’ensemble d’apprentissage T en n
ensembles disjoints (T1, T2,…, Tn) de même taille |Ti|.
•Pour chaque i = 1, 2, …, n
1.On fait l’apprentissage sur T – {Ti}
2.On teste sur Ti
3.On calcule le PCC sur Ti
•On fait la moyenne des PCC.
2018-2019 36
A suivre…
•Une technique de classification en apprentissage
supervisé.
Arbres de décision
2018-2019 37
