Métriques d'évaluation
1
Métriques d'évaluation
- L’évaluation des performances d’un algorithme d’apprentissage est
une étape cruciale pour mesurer la qualité de son apprentissage et sa
capacité à généraliser sur de nouvelles données.
- Les principales métriques utilisées pour évaluer les performances d’un
algorithme de machine learning, surtout dans le cadre de la
classification, mais également applicables à d’autres types de modèles
comme la régression :
2
Métriques d'évaluation
1) Métriques d’évaluation pour les tâches de classification
Pour les algorithmes de classification, plusieurs métriques permettent d'évaluer leur efficacité :
a) Matrice de confusion
Une matrice de confusion permet de visualiser la performance d’un modèle de classification en
montrant le nombre de prédictions correctes et incorrectes. Elle contient les éléments suivants :
• True Positives (TP) : Nombre de cas positifs correctement prédits.
• True Negatives (TN) : Nombre de cas négatifs correctement prédits.
• False Positives (FP) : Nombre de cas négatifs incorrectement prédits comme positifs (faux positifs).
• False Negatives (FN) : Nombre de cas positifs incorrectement prédits comme négatifs (faux négatifs).
3
Métriques d'évaluation
b) Précision (Accuracy)
La précision est le ratio des prédictions correctes sur le total des prédictions. Elle donne une idée générale de la
performance du modèle sur l’ensemble de la base de test.
Cependant, cette métrique peut être trompeuse en cas de déséquilibre des classes (par exemple, si la classe
positive est rare).
c) Précision (Precision)
La précision mesure la proportion des prédictions positives qui sont correctes.
4
Métriques d'évaluation
d) Rappel (Recall)
Le rappel (ou sensibilité) mesure la capacité à trouver tous les cas positifs.
e) F1-score
Le F1-score est la moyenne harmonique entre la précision et le rappel, utile lorsque vous voulez un équilibre
entre les deux.
f) AUC-ROC (Receiver Operating Characteristic)
L’AUC-ROC mesure la capacité du modèle à distinguer entre les classes. La courbe ROC est un tracé du taux de
vrais positifs contre le taux de faux positifs pour différents seuils. L’AUC (Area Under the Curve) indique à quel
point le modèle est performant.
• AUC = 1 : Modèle parfait.
• AUC = 0.5 : Modèle aléatoire (aucune capacité à distinguer entre les classes).
5
Métriques d'évaluation
6
Métriques d'évaluation
7
Métriques d'évaluation
8
Métriques d'évaluation
9
Métriques d'évaluation
10
Métriques d'évaluation
11
Métriques d'évaluation
12
Métriques d'évaluation
13
Métriques d'évaluation
14
Métriques d'évaluation
15
Métriques d'évaluation
16
Métriques d'évaluation
2. Métriques pour la régression
Pour les modèles de régression, qui prédisent des valeurs continues, voici quelques métriques utilisées :
a) Erreur quadratique moyenne (Mean Squared Error, MSE)
Cette métrique calcule la moyenne des carrés des différences entre les valeurs réelles et les valeurs prédites.
où yi est la valeur réelle et y^i la valeur prédite.
b) Erreur absolue moyenne (Mean Absolute Error, MAE)
MAE est la moyenne des erreurs absolues entre les valeurs réelles et prédites. Contrairement au MSE, elle ne
donne pas un poids plus important aux grandes erreurs.
17
Métriques d'évaluation
c) Coefficient de détermination (R² ou R-squared)
R² mesure la proportion de la variance dans la variable dépendante qui est prévisible à partir des variables
indépendantes. Il est compris entre 0 et 1, où 1 indique une correspondance parfaite entre les prédictions et
les valeurs réelles.
18
