Les fondamentaux de

l'apprentissage automatique

Pr. Zineb GOTTI

Année universitaire 2023/2024
[Link]@[Link]
Objectifs visés
• Comprendre les Fondamentaux du Machine Learning
• Maîtriser les Algorithmes de Base
• Appliquer les Techniques d'Apprentissage Automatique
• Évaluer et Améliorer les Modèles
• Gérer les Données
• Explorer les Techniques Avancées
Qu’est-ce que l’intelligence artificielle ?
L'intelligence artificielle (IA) est un domaine de l'informatique qui met
l'accent sur la création de machines intelligentes qui fonctionnent et
réagissent comme les humains.
• L'IA est une science interdisciplinaire avec de multiples approches.
• L'IA est devenue un élément essentiel de l'industrie technologique.
Sous-domaines de l'intelligence artificielle
Robotiques
Représentation
Machine
des
Learning
connaissances

Systèmes
Planification
experts

Intelligence
artificielle Traitement du
Algorithmique
langage naturel
d'Al
NLP

Optimisation
et optimisation Vision par
mathématique ordinateur

Neurosciences Système
et sciences d’aide à La
cognitives décision
Applications d'intelligence artificielle

Service à la clientèle Agriculture de précision Médias et Divertissement

Santé et Médecine
Sécurité et Surveillance

Environnement
et Durabilité
Applications d’IA Transport et Mobilité

Finance Énergie Éducation

Industrie et Manufacture Commerce et Marketing
Qu’est-ce que l’apprentissage automatique ?
• L'apprentissage automatique est la science (et l'art)de programmer
des ordinateurs pour qu'ils puissent apprendre à partir de données.
• L'apprentissage automatique est le domaine d'étude qui donne aux
ordinateurs la possibilité d'apprendre sans étant explicitement
programmé. -Arthur Samuel,1959.
Que signifie apprendre ?
• On dit qu'un programme informatique apprend de l'expérience E en
ce qui concerne une tâche T et une mesure de performance P, si sa
performance sur T, telle que mesurée par P, s'améliore avec
l'expérience E. — Tom Mitchell, 1997
Exemple d’utilisation: vente d’une voiture

Comment peut-on sélectionner le meilleur prix?

Exemple d’utilisation: vente d’une voiture

ANNEE FABRICANT KILOMETRAGE … PRIX

1995 GAZ 200000 … 1100 euro
1980 VAZ 150000 … 600 euro
2016 BMW 100000 … 23000 euro

caractéristiques Cible
ce que nous savons sur les ce que nous voulons prédire
voitures

• En utilisant ces informations, un expert peut déterminer le prix

• Si un expert peut le faire, le modèle le peut aussi
 Exemple d’utilisation: vente d’une voiture

ANNEE FABRICANT KILOMETRAGE … PRIX

1995 GAZ 200000 … 1100 euro entrainer
Modèle
1980 VAZ 150000 … 600 euro
2016 BMW 100000 … 23000 euro

Caractéristiques
Machine
Learning Modèle Prédictions
Cible
Chronologie de l'apprentissage
automatique
Pourquoi utiliser l'apprentissage automatique ?
• L'approche traditionnelle basées sur des règles (exemple de détection
de spam)
Pourquoi utiliser l'apprentissage automatique ?
• L'approche traditionnelle. Si le problème n’est pas anodin, votre
programme deviendra probablement une longue liste de règles
complexes assez difficiles à maintenir.
Pourquoi utiliser l'apprentissage automatique ?
• Approche d’apprentissage automatique: (exemple de détection de
spam)
• obtenir des données (emails)
• définir et calculer des caractéristiques(règles)
• longueur du titre >10 ? vrai/faux
• longueur du corps >10 ? vrai/faux
• expéditeur « promotions@[Link] » ? vrai/faux
• expéditeur « [Link] » ? vrai/faux
• domaine de l'expéditeur « [Link] » ? vrai/faux
• la description contient « dépôt » vrai/faux
• former et utiliser le modèle
Pourquoi utiliser l'apprentissage automatique ?

expéditeur « promotions@[Link] » faux

longueur du corps >10 vrai domaine de l'expéditeur « [Link] » vrai
longueur du titre >10 vrai la description contient « dépôt » vrai
expéditeur « [Link] » faux

caractéristiques cible
(données) (résultat souhaité)
Pourquoi utiliser l'apprentissage automatique ?
• Approche d’apprentissage automatique. Le programme est beaucoup
plus court, plus facile à maintenir et probablement plus précis.
Ingrédients de l'apprentissage automatique
• Machine Learning repose sur deux piliers fondamentaux :
• Les données, qui sont les exemples à partir duquel l’algorithme va apprendre ;
• L’algorithme d’apprentissage, qui est la procédure que l’on fait tourner sur ces
données pour produire un modèle. On appelle entraînement le fait de faire
tourner un algorithme d’apprentissage sur un jeu de données.
Applications de l'apprentissage automatique
• L'apprentissage automatique (ML) trouve de nombreuses applications dans divers domaines. Voici quelques exemples courants :
1. Reconnaissance de la Parole et du Langage Naturel. ex: les assistants vocaux, la traduction automatique, la classification de
texte, etc.
2. Vision par Ordinateur : Ex: la reconnaissance faciale, la segmentation d'images, la classification d'images médicales, la
surveillance vidéo, etc
3. Systèmes de Recommandation : Ex: recommander des produits, des films, de la musique, des articles d'actualité, etc.
4. Finance et Prévision : Ex: détection de fraude, la modélisation de risque, la prévision de séries chronologiques, la prise de
décision d'investissement, etc.
5. Santé et Médecine : Ex: l'analyse d'imagerie médicale, le diagnostic de maladies, la découverte de médicaments, la
personnalisation des traitements, la surveillance des patients, etc.
6. Transport et Logistique : Ex: la planification des itinéraires, l'optimisation des opérations logistiques, la gestion des flottes, la
prédiction de la demande, etc.
7. Automatisation Industrielle : Ex: la maintenance prédictive, l'optimisation des processus de production, le contrôle qualité
automatisé, etc.
8. Publicité en Ligne : Ex: cibler les publicités en ligne de manière plus efficace en analysant le comportement des utilisateurs et
en prédisant leurs préférences.
9. Jeux et Divertissement : L'apprentissage automatique est utilisé dans les jeux vidéo pour créer des adversaires virtuels plus
réactifs et adaptatifs, ainsi que pour personnaliser l'expérience de jeu en fonction du style de jeu de l'utilisateur.
10. Sécurité Informatique : Ex: détecter les menaces de sécurité informatique, la détection d'anomalies, la classification de spam,
etc.
Vocabulaire d'apprentissage automatique
1. Exemples : éléments ou instances de données utilisés pour
l'apprentissage ou l'évaluation. Dans notre problème de spam, ces
exemples correspondent à la collection de messages électroniques que
nous utiliserons à des fins d'apprentissage et de test.
2. Échantillon de formation : exemples utilisés pour entraîner un
algorithme d'apprentissage. Dans notre problème de spam, l'échantillon
de formation se compose d'un ensemble d'exemples d'e-mails ainsi que
de leurs étiquettes associées.
3. Étiquettes : valeurs ou catégories attribuées aux exemples. Dans les
problèmes de classification, des catégories spécifiques sont attribuées
aux exemples, par exemple les catégories de spam et de non-spam dans
notre problème de classification binaire. En régression, les éléments se
voient attribuer des étiquettes à valeur réelle.
Vocabulaire d'apprentissage automatique
4. Caractéristiques : L'ensemble des attributs, souvent représentés sous forme de
vecteur, associés à un exemple. Dans le cas des messages électroniques,
certaines caractéristiques pertinentes peuvent inclure la longueur du message,
le nom de l'expéditeur, diverses caractéristiques de l'en-tête, la présence de
certains mots-clés dans le corps du message, etc.
5. Échantillon de test : Exemples utilisés pour évaluer les performances d'un
algorithme d'apprentissage. L'échantillon de test est distinct des données de
formation et de validation et n'est pas mis à disposition au cours de la phase
d'apprentissage. Dans le problème du spam, l'échantillon de test consiste en
une collection d'exemples d'e-mails pour lesquels l'algorithme d'apprentissage
doit prédire les étiquettes en fonction des fonctionnalités. Ces prédictions sont
ensuite comparées aux étiquettes de l’échantillon test pour mesurer les
performances de l’algorithme.
6. Fonction de perte : fonction qui mesure la différence, ou la perte, entre une
étiquette prédite et une étiquette vraie.
Vocabulaire d'apprentissage automatique
Types de systèmes d'apprentissage automatique
• Il existe tellement de types différents de systèmes d’apprentissage
automatique qu’il est utile de les classer en grandes catégories basées
sur :
• Qu'ils soient ou non formés sous supervision humaine (supervisé, non
supervisé, semi-supervisé et apprentissage par renforcement).
• S'ils peuvent ou non apprendre progressivement à la volée (apprentissage en
ligne ou par lots).
• Qu'ils fonctionnent simplement en comparant de nouveaux points de
données à des points de données connus, ou qu'ils détectent plutôt des
modèles dans les données d'entraînement et construisent un modèle
prédictif, un peu comme le font les scientifiques (apprentissage basé sur des
instances ou apprentissage basé sur un modèle).
Types de systèmes d'apprentissage automatique
Apprentissage
Semi-Supervisé

Apprentissage Apprentissage
Supervisé non supervisé

Apprentissage Apprentissage
Basé sur un Apprentissage
Automatique par
Modèle Renforcement

Apprentissage
Basé sur des Apprentissage
Instances par Lots

Apprentissage
en Ligne
Types de systèmes d'apprentissage automatique
• Apprentissage supervisé:
• les données d'entraînement que vous fournissez à l'algorithme incluent les
solutions désirées, appelées étiquettes (ou labels en anglais).

• Lorsque y est réel, on parle de régression.

• Lorsque y est discret, on parle de classification.
Types de systèmes d'apprentissage automatique
• Apprentissage supervisé:
Types de systèmes d'apprentissage automatique
• Apprentissage supervisé:

Un Ensemble d'Entraînement Étiqueté pour l'Apprentissage Supervisé

Types de systèmes d'apprentissage automatique
• Apprentissage supervisé:
Les algorithmes d’apprentissage supervisé les plus importants :
• K-Nearest Neighbors (k-NN)
• Support Vector Machines (SVMs)
• Arbres de Décision (Decision Trees)
• Forêts Aléatoires (Random Forests)
• Réseaux de Neurones (Neural Networks)
• Régression Linéaire (Linear Regression)
• Régression Logistique (Logistic Regression)
Types de systèmes d'apprentissage automatique
• Apprentissage non supervisé:
• Dans l’apprentissage non supervisé, comme vous pouvez le deviner, les
données d’entraînement ne sont pas étiquetées. Le système essaie
d'apprendre sans professeur.

• Aucune étiquette n'est donnée à l'algorithme d'apprentissage, le laissant seul

pour explorer ou trouver une structure dans les données.
Types de systèmes d'apprentissage automatique
• Apprentissage non supervisé:
Types de systèmes d'apprentissage automatique
• Apprentissage non supervisé:

Un ensemble de formation non labellisé pour un apprentissage non supervisé

Types de systèmes d'apprentissage automatique
• Apprentissage non supervisé:
Les algorithmes d’apprentissage non supervisé les plus importants :
• Regroupement (Clustering)
• Visualisation et Réduction de Dimensionnalité
Types de systèmes d'apprentissage automatique
• Apprentissage semi-supervisé:
• Certains algorithmes peuvent traiter des données d'entraînement
partiellement étiquetées, généralement beaucoup de données non
étiquetées et un peu de données étiquetées. C’est ce qu’on appelle
l’apprentissage semi-supervisé.
• La plupart des algorithmes d’apprentissage semi-supervisé sont des
combinaisons d’algorithmes non supervisés et supervisés.
Types de systèmes d'apprentissage automatique
• Apprentissage par renforcement:
• Le système d'apprentissage appelé agent dans ce contexte.
• Peut observer l'environnement, sélectionner et réaliser des actions et
obtenir des récompenses en retour (ou des pénalités sous forme de
récompenses négatives).
• Il doit ensuite apprendre par lui-même quelle est la meilleure
stratégie, appelée politique, pour obtenir le plus de récompenses au
fil du temps.
• Une politique définit quelle action l'agent doit choisir lorsqu'il se
trouve dans une situation donnée.
Types de systèmes d'apprentissage automatique
• Apprentissage par renforcement:
Types de systèmes d'apprentissage automatique
• Apprentissage par lots:
• Dans l'apprentissage par lots, le système est incapable d'apprendre
de manière incrémentale :
• il doit être formé en utilisant toutes les données disponibles. Cela
prend généralement beaucoup de temps et de ressources
informatiques, c'est pourquoi cela se fait généralement hors ligne.
Tout d'abord, le système est formé, puis il est lancé en production et
fonctionne sans plus d'apprentissage ; il applique simplement ce qu'il
a appris. C’est ce qu’on appelle l’apprentissage hors ligne.
Types de systèmes d'apprentissage automatique
• Apprentissage en ligne:
• Dans l'apprentissage en ligne, vous entraînez le système
progressivement en lui fournissant des instances de données de
manière séquentielle, soit individuellement, soit par petits groupes
appelés mini-lots. Chaque étape d'apprentissage est rapide et peu
coûteuse, de sorte que le système peut apprendre de nouvelles
données à la volée, dès qu'elles arrivent.
Types de systèmes d'apprentissage automatique
• Apprentissage en ligne:
Types de systèmes d'apprentissage automatique
• Apprentissage basé sur des instances ou basé sur des modèles :
• Une autre façon de catégoriser les systèmes d’apprentissage automatique
consiste à déterminer leur généralisation. La plupart des tâches
d'apprentissage automatique consistent à faire des prédictions. Cela
signifie qu'à partir d'un certain nombre d'exemples de formation, le
système doit être capable de généraliser à des exemples qu'il n'a jamais
vus auparavant.
• Avoir une bonne mesure de performance sur les données d’entraînement
est une bonne chose, mais insuffisante ; le véritable objectif est d'être
performant sur les nouvelles instances. Il existe deux approches principales
de généralisation : l’apprentissage basé sur les instances et l’apprentissage
basé sur les modèles.
Types de systèmes d'apprentissage automatique
• Apprentissage basé sur les instances :
• Le système apprend les exemples par cœur, puis les généralise à de
nouveaux cas grâce à une mesure de similarité.
Types de systèmes d'apprentissage automatique
• Apprentissage basé sur un modèle :
• Construisez un modèle à partir de ces exemples, puis utilisez ce
modèle pour faire des prédictions.
Types de systèmes d'apprentissage automatique
• Apprentissage actif vs apprentissage par transfert
• L'Active Learning est un cas d'apprentissage automatique semi-
supervisé.
• Pour la classification, vous souhaiterez échantillonner un petit sous-
ensemble d'exemples, trouver ces étiquettes et utiliser ces exemples
étiquetés comme données de formation pour un classificateur.
Types de systèmes d'apprentissage automatique
• Apprentissage actif vs apprentissage par transfert
• L'apprentissage par transfert (TL) est un problème de recherche en ML qui
se concentre sur le stockage des connaissances acquises lors de la
résolution d’un problème et sur leur application à un problème différent
mais connexe.
• Par exemple, les connaissances acquises en apprenant à reconnaître les
chats pourraient s’appliquer à la reconnaissance des tigres.
Concepts Clés de l’apprentissage automatique
• Hyperparamètres : sont des variables de configuration externes au modèle
et dont les valeurs ne peuvent être estimées à partir des données. C’est-à-
dire qu’ils ne peuvent pas être appris directement à partir des données lors
de la formation sur modèle standard. Ils sont presque toujours spécifiés par
l’ingénieur en machine learning avant la formation.
• Régression : c'est le problème de prédire une valeur réelle pour chaque
élément. Des exemples de régression incluent la prédiction de la valeur des
stocks ou celle des variations de variables économiques.
• Classification : c'est le problème de l'attribution d'une catégorie à chaque
élément.
• Clustering : c'est le problème du partitionnement d'un ensemble
d'éléments en sous-ensembles homogènes.
Résumé des étapes de l’apprentissage automatique
• Étude des Données : Analyse initiale des données disponibles pour
comprendre leur structure, identifier les variables pertinentes, et traiter les
données manquantes ou anormales.
• Sélection d'un Modèle : Choix de l'algorithme d'apprentissage machine le
plus approprié en fonction du type de problème (régression, classification,
clustering) et des caractéristiques des données.
• Entraînement du Modèle : Utilisation des données d'entraînement pour
ajuster les paramètres du modèle afin de minimiser une fonction de perte
ou maximiser une métrique de performance.
• Application du Modèle :Utilisation du modèle entraîné pour faire des
prédictions sur de nouveaux cas ou des données non vues pendant
l'entraînement.