Chapitre 2 : La Machine Learning

Présenté par : BATAL Mossàb

31/01/2024
Objectifs

Chapitre 2 : Apprentissage automatique

1- Définition de l’apprentissage automatique (Machine Learning)

2- Les Principes de l'apprentissage automatique
3- Les sous-domaines : supervisé et non supervisé
4- Application de l’apprentissage automatique

2
C’est Quoi la machine Learning?

Situation 1: Exemple :

On connait le calcul à Déterminer la

effectuer pour résoudre structure d’un
notre problème. pont

Exemple :
Situation 2: ● Reconnaître un visage
sur une photo .
On ne connait pas le ● Prédire le cours de la
calcul qui résout notre Bourse
problème. ● Eliminer le cancer
● Composer de la musique
• Conduire une voiture
C’est Quoi la machine Learning?

Tom Mitchell donna en 1998 une définition un

peu plus moderne du Machine Learning en
énonçant qu’une machine apprend quand sa
performance à faire une certaine tâche
s’améliore avec de nouvelles expériences.
C’est quoi la machine learning?

Le Machine Learning (ML), ou apprentissage

automatique, est un sous-domaine de l'intelligence
artificielle qui permet aux ordinateurs d'apprendre
à partir de données sans être explicitement
programmés. Il repose sur des algorithmes qui
analysent des données, en extraient des modèles
et effectuent des prédictions ou des classifications.
Difference entre ML, AI et la programmation traditionnelle
Machine Learning Traditional programmation Artificial Intelligence

Sous-domaine de l'IA qui Basée sur des règles et du code Domaine global incluant ML,
apprend à partir des données et déterministe. Deep Learning et programmation
fait des prédictions. traditionnelle.

Basé sur les données, Fonctionne avec des instructions Mélange de techniques basées
s’améliore avec le temps. explicites des développeurs. sur les données et sur des
règles prédéfinies.

Capable de détecter des motifs Pas de capacités S’adapte et évolue pour

et d’extraire des insights. d’auto-apprentissage. accomplir des tâches
complexes.

Utilisé en analyse prédictive, Utilisée pour créer des logiciels Utilisée en robotique, vision par
chatbots, véhicules autonomes, et systèmes fonctionnels ordinateur, traitement du
etc. langage, etc.

Dépend fortement de la qualité Limitée aux scénarios connus et Combine ML et programmation

des données. prévus par les développeurs. traditionnelle pour résoudre des
problèmes complexes.
Paradigme
Les Cas d’utilisation de la Machine Leaning
Application du Machine Description
Learning

Modélisation prédictive Le Machine Learning est utilisé pour construire des modèles prédictifs aidant les entreprises
à prendre de meilleures décisions, comme prévoir quels clients sont susceptibles d'acheter
un produit ou quels patients risquent de développer une maladie.

Traitement du langage naturel Utilisé pour comprendre et interpréter le langage humain dans des applications telles que la
(NLP) reconnaissance vocale, les chatbots et la traduction automatique.

Vision par ordinateur Permet aux systèmes de reconnaître et d’interpréter des images et des vidéos, essentiel
pour les voitures autonomes, les systèmes de surveillance et l’imagerie médicale.

Détection de fraude Aide à identifier des comportements frauduleux dans les transactions financières, la
publicité en ligne et d’autres domaines en détectant des modèles suspects.

Systèmes de recommandation Utilisé pour suggérer des produits, services ou contenus aux utilisateurs en fonction de leur
comportement et de leurs préférences passées.
Comment exercer de la Machine Learning
Les types de la Machine Learning
Apprentissage Supervisé
Apprentissage non-supervisé
Apprentissage semi supervisé
Apprentissage par renforcement
Les étapes de la machine learning
Comment monter mon dataset
Pour construire votre jeu de données (et avant de
procéder à la transformation des données), vous devez:
1. Collecter les données brutes.
2. Identifier les sources des caractéristiques et d'étiquettes.
3. Sélectionnez une stratégie d'échantillonnage.
4. Fractionner les données.
Ces étapes dépendent beaucoup de la manière dont
vous avez cadré votre problème de ML.
Identifier les annotations

Direct Labels Derived Labels

Étiquettes fournies directement par l’humain Étiquettes créées indirectement à partir des
ou une source explicite données brutes, en utilisant des critères prédéfinis

1- Détection de Spam : 1- Détection de panne moteur :

L’utilisateur indique explicitement si l'email est spam ou Un moteur est étiqueté « en panne » automatiquement si sa
non. température dépasse un seuil critique (par exemple, 85°C).

2-Diagnostic médical : 2- Fraude bancaire :

Un médecin confirme directement si le patient est malade Transaction étiquetée automatiquement comme fraude si
effectuée depuis un pays inhabituel ou à une heure inhabituelle.
Echantillonnage?

Il est souvent difficile de collecter

suffisamment de données pour un
projet d'apprentissage automatique.
Cependant,Parfois, il y a trop de
données et vous devez sélectionner un
sous-ensemble d'exemples pour
l'entraînement.
Echantillonnage : données déséquilibrés

Prenons l'exemple suivant d'un modèle

qui détecte la fraude.

Les cas de fraude se produisent une

fois par 200 transactions dans cet
ensemble de données. Ainsi, dans la
vraie distribution, environ 0,5% des
données sont positives.
Pourquoi notre modèle fonctionne-t-il parfois mal
Echantillonage : Strategie de fractionnement
Détection de pannes dans un moteur industriel

Votre objectif est de construire un modèle de machine

learning capable de prédire si un moteur industriel
risque de tomber en panne, en se basant sur des
données recueillies via des capteurs installés sur les
moteurs.
1- Collecter les données brutes

- Installer des capteurs tels que des accéléromètres (vibrations),

des thermocouples (température), des tachymètres (vitesse de
rotation), et capteurs de courant/consommation.

- Enregistrer périodiquement les mesures (exemple toutes les

minutes pendant plusieurs mois).

- Stocker ces données dans une base de données

2. Identifier les sources des caractéristiques et des
étiquettes

Caractéristiques (features) : données relevées par les

capteurs (température, vitesse, vibrations, courant, etc.).

Étiquettes (labels) : état du moteur (normal ou en panne),

enregistré par des techniciens lors des inspections ou via
un système automatique de contrôle.
3- Sélectionner une stratégie d’échantillonnage

Échantillonnage équilibré : si le nombre d’événements « panne » est faible par

rapport au nombre de mesures normales, choisir une stratégie comme l’
échantillonnage stratifié, SMOTE (Synthetic Minority Oversampling Technique), ou
un sous-échantillonnage pour équilibrer les classes.
4. Fractionner les données :

Diviser le dataset en trois parties :

● Ensemble d'entraînement (~70%) :

utilisé pour entraîner le modèle.

● Ensemble de validation (~15%) : pour

affiner les hyperparamètres du modèle.

● Ensemble de test (~15%) : pour évaluer

objectivement les performances du
modèle.
Feature engineering

Le Feature Engineering consiste à créer,

sélectionner, ou transformer des variables
(caractéristiques/features) pour améliorer la
performance d’un modèle de machine
learning.
Étapes Clés du Feature Engineering

1- Extraction : Obtenir des caractéristiques pertinentes à partir des

données brutes.

2- Transformation : Modifier les caractéristiques pour faciliter

l'apprentissage (normalisation, standardisation, encodage).

3- Création : Construire de nouvelles caractéristiques à partir de

celles existantes pour mieux capturer l’information utile.

4- Sélection :identifier et retenir uniquement les caractéristiques les

plus pertinentes.
Exemples du feature engineering

1. Représentation des horodatages

2. Décomposition des attributs catégoriels

3. Discrétisation (Binning / Bucketing)

4. Croisement de variables (Feature Crosses)

5. Sélection de caractéristiques

6. Mise à l’échelle (Normalisation)

7. Extraction de caractéristiques
Techniques Fréquentes de Feature Engineering

Technique Exemple

Encodage des variables catégorielles Transformer les catégories « homme »/« femme » en
0/1

Normalisation Ramener toutes les variables entre [0,1] (ex :

min-max scaler)

Extraction temporelle À partir d'une date, extraire année, mois,

jour, jour de la semaine

Création d'interactions Multiplier deux variables : prix × quantité

vendue pour créer « chiffre d'affaires »
Feature engineering
1- normalisation & standardisation : min max scaler

2- encoding : label encoding & one hot encoding.

3- imputing : remplacement des valeurs manquante.

4- l’indice de coorélation.
Exemple concret détaillé : Prédiction du prix d’un logement
Supposons que vous souhaitez prédire le prix d’un logement à partir de
caractéristiques brutes.

Caractéristiques initiales Feature Engineering appliqué

Surface (m²) Normalisation min-max de la surface

Adresse Extraction de latitude/longitude → Distance au

centre-ville

Date de vente Extraction de l'année et du mois → Intégration des

tendances temporelles

Nombre de chambres Nouvelle caractéristique : surface par chambre

Catégorie (Maison/Appartement) Encodage binaire ou One-Hot Encoding

Exercice
Vous avez un jeu de données brutes issu d'une application météo contenant les
variables suivantes :

- Température (°C) , Humidité (%) ,Date (JJ/MM/AAAA HH:MM) ,Pression (hPa), Vitesse du vent
(km/h)

● Proposez trois nouvelles caractéristiques utiles à créer par Feature

Engineering pour améliorer un modèle prédisant s’il va pleuvoir ou non
Les modèles d’apprentissage automatique
1- Modèles linéaires : Régression linéaire, Régression logistique

1.1 la Régression: (apprentissage supervisé)

la régression est une technique de Machine Learning supervisé utilisée

pour prédire une valeur continue à partir de données d’entrée.

Une valeur est continue lorsqu’elle peut prendre une infinité de valeurs dans
un intervalle numérique donné.

Exemple :

- prédire le prix d’un logement,

- la température d’un jour donné,
- la consommation d’énergie.
Principe de fonctionnement : Régression

1- On dispose d’un ensemble de données étiquetées (features

+ valeur cible).

2- L’algorithme apprend à modéliser la relation entre les

variables d’entrée (X) et la variable de sortie (Y).

3- Une fois entraîné, il peut prédire de nouvelles valeurs Y pour

des X inconnus.

Remarque :

- Classification → Valeurs discrètes (catégories).

- Régression → Valeurs continues.
Algorithmes de régression populaires

● Régression Linéaire

● Régression Polynomiale

● Régression par Arbres de Décision

● Forêts Aléatoires (Random Forest Regressor)

● Support Vector Regressor (SVR)

Les étapes de l’apprentissage supervisé
Pour maîtriser l’apprentissage supervisé, il faut absolument comprendre et
connaitre les 4 notions suivantes :

• Le Dataset

• Le Modèle et ses paramètres

• La Fonction Coût

• L’Algorithme d’apprentissage (minimiser la fonction cout)

1- Apprendre à partir d’exemples (Dataset)
1- Apprendre à partir d’exemples (Dataset)
2 - Développer un modèle à partir du Dataset
En Machine Learning, on développe un modèle à partir de ce Dataset. Il peut s’agir d’un modèle
linéaire comme vous pouvez le voir à gauche, ou bien un modèle non-linéaire comme vous pouvez
le voir à droite. Nous verrons dans ce livre comment choisir un modèle plutôt qu’un autre.

On définit 𝒂,𝒃,𝒄, etc. comme étant les paramètres d’un modèle.

3- Les erreurs de notre modèle
La Fonction Coût Autre chose à noter est qu’un modèle nous retourne des erreurs
par rapport à notre Dataset.

On appelle Fonction Coût l’ensemble de ces erreurs :

4- algorithme de minimisation

l’objectif central en Supervised Learning, c’est de trouver les paramètres du modèle qui
minimisent la Fonction Coût. Pour cela, on utilise un algorithme d’apprentissage, l’exemple
le plus courant étant l’algorithme de Gradient Descent
La régression linéaire
Processus
1- Collecter les données - Dataset -
Imaginez que plusieurs agences immobilières vous
aient fourni des données sur des appartements à
vendre,

● notamment le prix de l’appartement (𝒚) et la

surface habitable (𝒙).
● En Machine Learning, on dit que vous disposez
de 𝒎 exemples d’appartements.
○ On désigne : X(𝒊) la surface habitable de l’exemple 𝒊
○ Y(𝒊) le prix de l’exemple 𝒊
● En visualisant votre Dataset, vous obtenez le
nuage de points suivant :
2- Créer un modèle linéaire
● A partir des données de la dataset, on développe un modèle linéaire 𝒇(𝒙) = 𝒂𝒙+𝒃 où 𝒂 et 𝒃 sont
les paramètres du modèle.
● Un bon modèle donne de petites erreurs entre ses prédictions 𝒇(𝒙) et les exemples (𝒚) du
Dataset.
● Nous ne connaissons pas les valeurs des paramètres 𝒂 et 𝒃, ce sera le rôle de la machine
learning de les trouver, de sorte à tracer un modèle qui s’insère bien dans notre nuage de
point comme ci-dessous :
3- Définir La Fonction Coût
Pour la régression linéaire, on utilise la norme euclidienne pour mesurer les erreurs entre 𝒇
(𝒙) et (𝒚).

Concrètement, voici la formule pour exprimer l’erreur 𝑖 entre le prix 𝒚(𝒊) et la prédiction faites
en utilisant la surface 𝒙(𝒊) :

E𝑟𝑟𝑒𝑢𝑟(𝑖) = ( 𝑓(𝑥(𝑖)) − 𝑦(𝑖) )²

3- Définir La Fonction Coût
Par exemple, imaginez que le 10ième exemple de votre Dataset soit un appartement de 𝑥(10) =
80 𝑚² dont le prix s’élève à 𝑦(10) = 100,000 € et que votre modèle prédise un prix de :
𝑓(𝑥(10)) =100,002 €.
L’erreur pour cette exemple est donc :
E𝑟𝑟𝑒𝑢𝑟(10) = ( 𝑓(𝑥(10)) − 𝑦(10) )²
E𝑟𝑟𝑒𝑢𝑟(10) = ( 100,002 − 100,000 )²
E𝑟𝑟𝑒𝑢𝑟(10) = ( 2)²
E𝑟𝑟𝑒𝑢𝑟(10) = 4
Chaque prédiction s’accompagne d’une erreur, on a donc 𝒎 erreurs. On définit la Fonction Coût
𝑱(𝒂,𝒃) comme étant la moyenne de toutes les erreurs :
4- algorithme de minimisation - Gradient Descendent -
● La prochaine étape est l’étape la plus excitante, il s’agit de laisser la machine
apprendre quels sont les paramètres qui minimisent la Fonction Coût, c’est-à-dire les
paramètres qui nous donnent le meilleur modèle.
● Pour trouver le minimum, on utilise un algorithme d’optimisation qui s’appelle Gradient
Descent (la descente de gradient).

● Imaginez-vous perdu en montagne. Votre but est de rejoindre le refuge qui se trouve au
point le plus bas de la vallée. Vous n’avez pas pris de carte avec vous donc vous ne
connaissez pas les coordonnées de ce refuge, vous devez le trouver tout seul.
4- algorithme de minimisation - Gradient Descendent -
Pour vous en sortir, voici une stratégie à adopter :

1. Depuis votre position actuelle, vous partez en direction de là où la pente descend le plus fort.

2. Vous avancez une certaine distance en suivant cette direction coûte que coûte (même si ça
implique de remonter une pente)

3. Une fois cette distance parcourue, vous répétez les 2 premières opérations en boucle, jusqu’à
atteindre le point le plus bas de la vallée.
4- algorithme de minimisation - Gradient Descendent -
Cet algorithme vous permet de trouver le minimum de la Fonction Coût J(𝒂,𝒃) (le point le plus bas de la
montagne) en partant de coordonnées 𝒂 et 𝒃 aléatoires (votre position initiale dans la montagne) :

1. Calculer la pente de la Fonction Coût, c’est-à-dire la dérivée de J(𝒂,𝒃).

2. Evoluer d’une certaine distance ∝ dans la direction de la pente la plus forte. Cela a pour résultat
de modifier les paramètres 𝒂 et 𝒃

3. Recommencer les étapes 1 et 2 jusqu’à atteindre le minimum de J(𝒂,𝒃)

4- algorithme de minimisation - Gradient Descendent -
Pour rappel, nous avons jusqu’à présent créé un Dataset, développé un modèle aux paramètres
inconnus, et exprimé la Fonction Coût 𝑱(𝒂,𝒃) associée à ce modèle. Notre objectif final : Trouver
les paramètres 𝒂 et 𝒃 qui minimisent 𝑱(𝒂,𝒃).

Pour cela, nous allons choisir 𝒂 et 𝒃 au hasard (nous allons nous perdre en montagne) puis allons
utiliser en boucle la descente de gradient pour mettre à jour nos paramètres dans la direction de la
Fonction Coût la plus faible. Ré𝑝𝑒𝑡𝑒𝑟 𝑒𝑛 𝑏𝑜𝑢𝑐𝑙𝑒:
4- algorithme de minimisation - Gradient Descendent -

● à chaque itération de cette boucle, les paramètres 𝒂 et b sont mis à

jour en soustrayant leur propre valeur à la valeur de la pente 𝝏 𝑱(𝒂,𝒃)
multipliée par la distance à parcourir ∝.

● On appelle ∝ la vitesse d’apprentissage (Learning rate).

● Si la vitesse est trop lente, le modèle peut mettre longtemps à être

entraîné.

● si la vitesse est trop grande, alors la distance parcourue est trop

longue et le modèle peut ne jamais converger. Il est important de
trouver un juste milieu.
la fonction cout : on calcule .
Résumé
L’évaluation des modéles de régression
L’évaluation des modèles de régression

1- Rappeler les formules de la MAE et de la RMSE.

2- Calculer la RMSE pour les deux modèle.

3- Interpréter le résultat obtenu.

La classification
La ligne rouge en pointillés représente la frontière de décision. C’est la ligne qui
sépare le mieux les emails SPAM des emails NON-SPAM. Un nouvel email sera
classé en fonction de quel côté de la ligne il se trouve.
Methode de classification : Regression logistique
La fonction de prédiction dans la régression linéaire se fait comme ca : La
régression logistique est une méthode de classification qui prédit la probabilité
qu’une donnée appartienne à une classe donnée (exemple : SPAM ou
NON-SPAM). Elle repose sur la fonction sigmoïde, qui transforme une
combinaison linéaire des caractéristiques en une probabilité.

La fonction de prédiction dans la regression linéaire se fait comme ca :

• X représente les caractéristiques de l’email (exemple : nombre de majuscules,

présence de mots comme “Casino", etc.).
• W représente les poids du modèle, ajustés lors de l’apprentissage.
Methode de classification : Regression logistique
Methode de classification : Regression logistique
La classification : Support Vector Machine

Les machines à vecteurs de support (SVM) sont une méthode de classification

supervisée utilisée pour séparer des données en différentes classes. Elles sont
particulièrement utiles lorsque les données ne sont pas parfaitement séparables
par une simple ligne droite
La classification : Support Vector Machine
La classification : Support Vector Machine
La classification : Support Vector Machine
La classification : Support Vector Machine
Classification : Arbre de décision
Classification : Arbre de décision
Classification : Arbre de décision
Classification : Arbre de décision
Classification : Arbre de décision
Classification : Arbre de décision
Classification : Arbre de décision
Les foret aléatoires : Random Forest
L’évaluation des modéles de classification
Apprentissage non-supervisé

L’objectif du Clustering c’est de regrouper des objets qui se ressemblent

entre eux, sans que la machine ait besoin d'exemples avec des étiquettes.
On l’utilise souvent pour segmenter ou organiser des données.
Principe de L’apprentissage non supervise
Principe de L’apprentissage non supervise
Les algorithmes du clustering:

● K-means
● DBSCAN
● OPTICS
● STING
● Gaussian Mixture Models (GMM)
● Spectral Clustering
Clustering : K-means
K-means : les étapes:
K-means : les étapes:
K-means : exemple.
K-means : exemple.
K-means : exemple.
K-means : exemple.
K-means : exemple.