AdaBoost
AI For You - Morgan Gautherot
Prérequis
Pour comprendre la théorie d’AdaBoost il faut bien comprendre :
- L’ensemble learning
- L’algorithme des arbres de décision
- L’algorithme du random forest
AI For You - Morgan Gautherot 2
Le problème du random forest
AI For You - Morgan Gautherot 3
De l’aléatoire au boosting
AI For You - Morgan Gautherot 4
De l’aléatoire au boosting
AI For You - Morgan Gautherot 5
Random forest AdaBoost
Stumps !
AI For You - Morgan Gautherot 6
Random forest AdaBoost
Stumps !
AI For You - Morgan Gautherot 7
Du random forest à AdaBoost
u Les arbres sont créer séquentiellement l’un après l’autre afin de minimiser
l’erreur des arbres précédemment créer.
u Les arbres sont des stumps c’est-à-dire des arbres de profondeur une avec
seulement deux feuilles.
u Les arbres peuvent avoir des poids différents en fonction de leur importance
dans la forêt.
AI For You - Morgan Gautherot 8
AdaBoost
Jeu d’entraînement Jeu d’entraînement Jeu d’entraînement
aléatoire aléatoire aléatoire
Données
1 2 3
Entraînement Entraînement Entraînement
Eval Eval Eval
Jeu de données Modèle Modèle Modèle
d’entraînement
Test Erreur
AI For You - Morgan Gautherot 9
Poids des observations
Sexe Age Classe Survie Poids
1
1 30 3 0 1/n 𝑛𝑜𝑚𝑏𝑟𝑒 𝑑! 𝑒𝑥𝑒𝑚𝑝𝑙𝑒𝑠
2 24 3 1 1/n
1 10 1 1 1/n
2 16 2 1 1/n
1 67 1 0 1/n
AI For You - Morgan Gautherot 10
Poids des observations
Sexe Age Classe Survie Poids
1
1 30 3 0 1/5 𝑛𝑜𝑚𝑏𝑟𝑒 𝑑! 𝑒𝑥𝑒𝑚𝑝𝑙𝑒𝑠
2 24 3 1 1/5
1 10 1 1 1/5
2 16 2 1 1/5
1 67 1 0 1/5
AI For You - Morgan Gautherot 11
Création d’un stump
Sexe Age Classe Survie (y) Poids (p) Sexe = 1
Oui Non
1 30 3 0 1/5 0 1
2 24 3 1 1/5 Correcte Incorrecte Correcte Incorrecte
2 1 2 0
1 10 1 1 1/5
2 16 2 1 1/5
1 67 1 0 1/5
AI For You - Morgan Gautherot 12
Poids du votes de l’arbre
Sexe = 1
Oui Non %
0 1 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙 = >(𝑦" ! = 𝑦B" ) ∗ 𝑝"
"#$
Correcte Incorrecte Correcte Incorrecte
2 1 2 0
1 1 − 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙
Poids 𝑑𝑒 𝑙! 𝑎𝑟𝑏𝑟𝑒 = log +𝜀
2 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙 + 𝜀
AI For You - Morgan Gautherot 13
Poids du votes de l’arbre
Sexe Age Classe Survie (y) Poids (p)
1 1 − 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙
1 30 3 0 1/5 𝑃𝑜𝑖𝑑𝑠 𝑑𝑒 𝑙! 𝑎𝑟𝑏𝑟𝑒 = log
2 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙
1
1 1−
= log 5
2 24 3 1 1/5 1
2
5
1 10 1 1 1/5 = 0.69
2 16 2 1 1/5
1 67 1 0 1/5
AI For You - Morgan Gautherot 14
Notre forêt
Poids = 0.69
Sexe = 1
Oui Non
0 1
AI For You - Morgan Gautherot 15
Proportion de votes d’un arbre
Survie Nouveau
Sexe Age Classe Poids (p)
(y) Poids (p)
! /010-
1 30 3 0 1/5 𝑁𝑜𝑢𝑣𝑒𝑎𝑢 𝑝𝑜𝑖𝑑𝑠&!#&( = 𝑝𝑜𝑖𝑑𝑠 . 𝑒 )*"+, +- .
1/5 1 2.45
2 24 3 1 𝑁𝑜𝑢𝑣𝑒𝑎𝑢 𝑝𝑜𝑖𝑑𝑠&!#&( = .𝑒 = 0.40
5
1 10 1 1 1/5 0.4
1
= 0.2 < 0.4
5
2 16 2 1 1/5
1 67 1 0 1/5
AI For You - Morgan Gautherot 16
Proportion de votes d’un arbre
Survie Nouveau
Sexe Age Classe Poids (p)
(y) Poids (p)
! /010-
1 30 3 0 1/5 0.1 𝑁𝑜𝑢𝑣𝑒𝑎𝑢 𝑝𝑜𝑖𝑑𝑠&#&( = 𝑝𝑜𝑖𝑑𝑠 . 𝑒 6)*"+, +- .
1/5 0.1 1 62.45
2 24 3 1 𝑁𝑜𝑢𝑣𝑒𝑎𝑢 𝑝𝑜𝑖𝑑𝑠&#&( = .𝑒 = 0.10
5
1 10 1 1 1/5 0.4
1
= 0.2 > 0.1
5
2 16 2 1 1/5 0.1
1 67 1 0 1/5 0.1
AI For You - Morgan Gautherot 17
Normalisation des poids
Survie Nouveau Poids
Sexe Age Classe
(y) Poids (p) norm. (p)
1 30 3 0 0.1 0.1/0.8
2 24 3 1 0.1 0.1/0.8
1 10 1 1 0.4 = 0.8 0.4/0.8
2 16 2 1 0.1 0.1/0.8
1 67 1 0 0.1 0.1/0.8
AI For You - Morgan Gautherot 18
Normalisation des poids
Survie Nouveau Poids
Sexe Age Classe
(y) Poids (p) norm. (p)
1 30 3 0 0.1 0.125
2 24 3 1 0.1 0.125
1 10 1 1 0.4 = 0.8 0.5 =1
2 16 2 1 0.1 0.125
1 67 1 0 0.1 0.125
AI For You - Morgan Gautherot 19
Création d’un nouvel arbre
Survie Classe = 3
Sexe Age Classe Poids (p) Non
(y) Oui
1 30 3 0 0.125 0 1
2 24 3 1 0.125 Correcte Incorrecte Correcte Incorrecte
1 1 2 1
1 10 1 1 0.5
%
2 16 2 1 0.125 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙 = >(𝑦" = ! 𝑦B" ) ∗ 𝑝" = 0.25
"#$
1 67 1 0 0.125 1 1 − 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙
Poids 𝑑𝑒 𝑙! 𝑎𝑟𝑏𝑟𝑒 = log + 𝜀 = 0.55
2 𝐸𝑟𝑟𝑒𝑢𝑟 𝑇𝑜𝑡𝑎𝑙 + 𝜀
AI For You - Morgan Gautherot 20
Notre forêt
Poids = 0.69 Poids = 0.55
Sexe = 1 Classe = 3
Oui Non Oui Non
0 1 0 1
AI For You - Morgan Gautherot 21
Calcul des nouveaux poids
! /010-
𝑁𝑜𝑢𝑣𝑒𝑎𝑢 𝑝𝑜𝑖𝑑𝑠&!#&( = 𝑝𝑜𝑖𝑑𝑠 . 𝑒 )*"+, +- . 𝑁𝑜𝑢𝑣𝑒𝑎𝑢 𝑝𝑜𝑖𝑑𝑠&#&( = 𝑝𝑜𝑖𝑑𝑠 . 𝑒 6)*"+, +- .
! /010-
Survie Nouveau Poids
Sexe Age Classe Poids (p)
(y) poids (p) norm. (p)
1 30 3 0 0.125 0.07 0.08
2 24 3 1 0.125 0.22 0.25
1 10 1 1 0.5 0.29 0.34
2 16 2 1 0.125 0.07 0.08
1 67 1 0 0.125 0.22 0.25
AI For You - Morgan Gautherot 22
Création d’un nouvel arbre
Survie
Sexe Age Classe Poids (p)
(y)
1 30 3 0 0.08
2 24 3 1 0.25
1 10 1 1 0.34
2 16 2 1 0.08
1 67 1 0 0.25
AI For You - Morgan Gautherot 23
Notre forêt Poids = 0.31
Poids = 0.20
Poids = 0.69 Poids = 0.55
Sexe = 1 Classe = 3
Oui Non Oui Non
0 1 0 1
Poids = 0.43 Poids = 0.10
AI For You - Morgan Gautherot 24
Prédiction de la forêt
1 Poids = 0.20 2 Poids = 0.31
Arbre Décision
1 0
2 0
3 Poids = 0.10 4 Poids = 0.69
3 0
Sexe = 1
Oui Non
4 1
0 1
5 0
5 Poids = 0.43 6 Poids = 0.55
Classe = 3 6 1
Oui Non
0 1
AI For You - Morgan Gautherot 25
Prédiction de la forêt
1 Poids = 0.20 2 Poids = 0.31
Arbre Décision Poids
1 0 0.2
2 0 0.31
3 Poids = 0.10 4 Poids = 0.69
3 0 0.10
Sexe = 1
Oui Non
4 1 0.69
0 1
5 0 0.43
5 Poids = 0.43 6 Poids = 0.55
Classe = 3 6 1 0.55
Oui Non
0 1
AI For You - Morgan Gautherot 26
Prédiction de la forêt
1 Poids = 0.20 2 Poids = 0.31
Arbre Décision Poids %
1 0 0.2 9%
2 0 0.31 14%
3 Poids = 0.10 4 Poids = 0.69
3 0 0.10 4% 1 – 54%
Sexe = 1
Oui Non 0 – 46%
4 1 0.69 30%
0 1
5 0 0.43 19%
5 Poids = 0.43 6 Poids = 0.55
Classe = 3 6 1 0.55 24%
Oui Non
0 1
AI For You - Morgan Gautherot 27
