CHAPITRE 3
CLASSIFICATION
I- MNIST
II- Formation d'un classificateur binaire
III- Mesures de performance
1) Mesurer la précision à l'aide de la validation croisée
2) Matrices de confusion
3) Précision et rappel
4) Le compromis précision/rappel
5) La courbe ROC
IV- Classification multi-classe
V- Analyse des erreurs
VI- Classification multi-label
VII- Classification des sorties multiples
I- MNIST
Nous utiliserons le jeu de données MNIST, qui est un ensemble de 70 000 petites images
de chiffres écrits à la main par des lycéens et des employés du bureau de recensement
américain. Chaque image est étiquetée avec le chiffre qu'elle représente.
II- Formation d'un classificateur binaire
Choisissons maintenant un classificateur et entraînons-le. Un bon point de départ est un
classificateur de descente stochastique (SGD, ou GD stochastique), utilisant la classe
SGDClassifier de Scikit-Learn. Ce classificateur est capable de traiter efficacement de très
grands ensembles de données. Cela s'explique en partie par le fait que SGD traite les
instances d'apprentissage de manière indépendante, une à la fois, ce qui rend SGD bien
adapté à l'apprentissage en ligne,
III- Mesures de performance
L'évaluation d'un classificateur est souvent beaucoup plus délicate que l'évaluation d'un
régresseur. Il existe de nombreuses mesures de performance.
6) Mesurer la précision à l'aide de la validation croisée
La séparation d’un jeu de données en un jeu d’entraînement et un jeu de test est
nécessairement arbitraire. Nous risquons ainsi d’avoir, par hasard, créé des jeux de
données qui ne sont pas représentatifs. Pour éviter cet écueil, il est souhaitable de
reproduire plusieurs fois la procédure, puis de moyenner les résultats obtenus afin de
moyenner ces effets aléatoires. Le cadre le plus classique pour ce faire est celui de la
validation croisée,
la précision n'est généralement pas la mesure de performance préférée pour les
classificateurs, en particulier lorsqu'il s'agit d'ensembles de données biaisées (c'est- à-dire
lorsque certaines classes sont beaucoup plus fréquentes que les autres). Une bien
meilleure façon d'évaluer les performances d'un classificateur est d'examiner la matrice
de confusion (CM).
7) Matrices de confusion
Comme nous l’avons vu, le nombre d’erreurs de classification permet d’évaluer la qualité
d’un modèle prédictif. Notons que l’on préférera généralement décrire le nombre
d’erreurs comme une fraction du nombre d’exemples : un taux d’erreur de 1 % est plus
parlant qu’un nombre absolu d’erreurs.
Mais toutes les erreurs ne se valent pas nécessairement. Prenons l’exemple d’un modèle
qui prédise si oui ou non une radiographie présente une tumeur inquiétante : une fausse
alerte, qui sera ensuite infirmée par des examens complémentaires, est moins
problématique que de ne pas déceler la tumeur et de ne pas traiter la personne
concernée. Les performances d’un modèle de classification, binaire comme multiclasse,
peuvent être résumée dans une matrice de confusion.
8) Précision et rappel
Il est possible de dériver de nombreux critères d’évaluation à partir de la matrice de
confusion. En voici quelques exemples :
Il est cependant très facile d’avoir un bon rappel en prédisant que tous les exemples sont
positifs. Ainsi, ce critère ne peut pas être utilisé seul. On lui adjoint ainsi souvent la
précision :
De même que l’on peut facilement avoir un très bon rappel au détriment de la précision,
il est aisé d’obtenir une bonne précision (au détriment du rappel) en faisant très peu de
prédictions positives (ce qui réduit le risque qu’elles soient erronées)
9) Le compromis précision/rappel
10)La courbe ROC
IV- Classification multi-classe
V- Analyse des erreurs
VI- Classification multi-label
VII- Classification des sorties multiples
