TP : Introduction à l’apprentissage statistique

LARIBI Amal - GHANEM Imane

December 2023

Contents
1 Introduction 2

2 Principes de l’ACP (Analyse en Composantes Principales) 2

2.1 Fondements théoriques de l’ACP . . . . . . . . . . . . . . . . . . 2

3 Réduction de dimension 3
3.1 Théorie sur la Réduction de Dimension . . . . . . . . . . . . . . . 3

4 Implémentation MATLAB 5
4.1 Mise en œuvre des Eigenfaces . . . . . . . . . . . . . . . . . . . . 8
4.2 Analyse du Ratio de Reconstruction et Choix de la Dimension de
Facespace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4.3 Considérations sur l’Utilisation de la Base Training2 . . . . . . . 11

5 Classification 11
5.1 Classifieur K-NN . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
5.2 Classifieur Gaussien . . . . . . . . . . . . . . . . . . . . . . . . . 11

6 Conclusion 11

1
1 Introduction
Dans le champ de l’intelligence artificielle, la reconnaissance faciale représente
un défi conséquent. Bien que les méthodes actuelles telles que le deep learning
soient efficaces, elles requièrent d’importantes ressources. Cette étude se concen-
tre sur une méthode alternative, l’Analyse en Composantes Principales (ACP),
une approche classique appelée ’eigenface’. L’ACP permet de simplifier les
données en réduisant leur dimensionnalité, transformant ainsi de multiples vari-
ables corrélées en un nombre restreint de composantes principales décorrélées,
tout en préservant les informations clés.
Ce travail a pour double objectif d’examiner l’ACP et son application à la
réduction de la dimensionnalité dans une base d’images de visages, et de relever
le défi de la reconnaissance faciale. Nous appliquerons des classificateurs tels
que K-nn et gaussien sur des images traitées par ACP, afin d’évaluer l’efficacité
de l’ACP dans la représentation des données et sa pertinence dans des tâches
de reconnaissance faciale. Ce processus offrira une perspective sur les capacités
et les limites de cette technique dans un contexte pratique.

2 Principes de l’ACP (Analyse en Composantes

Principales)
2.1 Fondements théoriques de l’ACP
L’Analyse en Composantes Principales (ACP) se focalise sur la projec-
tion des données x1 , . . . , xn sur un ensemble de l directions orthogonales, cha-
cune renfermant une quantité maximale d’information ou de variance empirique.
L’objectif formel est d’identifier une base composée de l vecteurs orthonormaux
v1 , . . . , vn dans RP , de sorte à maximiser les variances empiriques définies par
Pn
Ei = n1 i=0 ⟨vj , xi − x̄⟩2 . La procédure initie par la détermination du vecteur
propre u1 , qui maximise l’énergie de projection parmi
n tous les vecteurs unitaires.
o
1
Pn 2
On montre en premier lieu que: u1 ∈ arg max v∈RP n i=1 ((v, xi − x̄))
∥v∥=1
On a:
n
1X
Ej = ⟨vj , xi − x̄⟩2
n i=1

2
 Soit C la matrice de covariance définie par :
n
1X
C= (xi − x̄)(xi − x̄)T
n i=1

L’énergie de cette projection est donnée par :

Ej = v T Cv

On a :
v T Cv ≤ λ1

Avec λ1 la plus grande valeur propre de C.

Soit u1 un vecteur propre associé à la valeur propre λ1 :
n
1X
E1 = ⟨u1 , xi − x̄⟩2 = uT1 Cu1 = λ1
n i=1

Donc le vecteur propre u1 maximise l’énergie de projection parmi tous les

vecteurs unitaires.
Dans un second lieu on généralise le résultat précédent en montrant que pour
tout i ≥ 2, nous avons :

n
1X 2
uj ∈ arg max ∥(v, xi − x̄)∥ .
v∈RP n i=1
∥v∥=1, v⊥u1 ,...,uj−1

3 Réduction de dimension
3.1 Théorie sur la Réduction de Dimension
Dans le processus de réduction de dimension, la dimension ℓ de l’espace de
projection S, dénoté par vect(u1 , . . . , uℓ ), est choisie afin de préserver un seuil
déterminé de l’énergie. La projection orthogonale sur S, notée πS , est une
transformation de Rp en S, et est définie par:

ℓ
X
πS (x) = ⟨uj , x⟩uj .
j=1

Les composantes principales d’un vecteur x ∈ Rp sont les coordonnées de

πS (x − x̄) exprimées dans la base {u1 , . . . , uℓ }, c’est-à-dire les mesures ⟨u1 , x −

3
x̄⟩, . . . , ⟨uℓ , x − x̄⟩. Les directions principales sont définies par les vecteurs pro-
pres u1 , . . . , uℓ . Nous introduisons le rapport κ(ℓ), qui est calculé comme suit:

1
Pn 2
n i=1 ∥πS (xi − x̄)∥
κ(ℓ) = 1
P n 2
,
n i=1 ∥xi − x̄∥

où κ(ℓ) quantifie la proportion de la variance des données originales conservée

par les ℓ premières composantes principales. Cette mesure est cruciale pour
évaluer l’efficacité de la réduction de dimension opérée par l’ACP.
2
n n ℓ
1X 2 1X X
∥πS (xi − x̄)∥ = ⟨uj , xi − x̄⟩uj
n i=1 n i=1 j=1
n ℓ
1X X
= ∥ ⟨uj , xi − x̄⟩∥2
n i=1 j=1
ℓ
* n n
+
X 1 X X
= ⟨uj , xi − x̄⟩, ⟨uk , xi − x̄⟩
j=1
n i=1
k=1

Étant donné que la base {u1 , . . . , uℓ } est orthonormée, nous avons :

ℓ
* n n
+
X 1 X X
⟨uj , xi − x̄⟩, ⟨uk , xi − x̄⟩
j=1
n i=1 k=1
ℓ
n X
1 X
= ⟨uj , xi − x̄⟩2
n i=1 j=1
ℓ n
!
X 1X
= ⟨uj , xi − x̄⟩2
j=1
n i=1
ℓ
X
= Ej = λj ,
j=1

où Ej représente l’énergie de projection sur la direction uj , et λj est la valeur

propre associée à la direction principale uj dans l’espace de projection S.

4
4 Implémentation MATLAB
Le fichier eigenfaces.m est conçu pour traiter toutes les images des dossiers
training et test. Nous commençons par extraire les données pour les stocker
dans une matrice de dimensions p × n, où p est la dimension des données et n le
nombre d’échantillons. L’Analyse en Composantes Principales (ACP) est mise
en œuvre par le calcul de la matrice de covariance empirique R̂ à partir de ces
images d’apprentissage. Pour des raisons de temps de calcul et vue la taille des
donnés, le calcul direct des vecteurs propres via la décomposition spectrale de la
matrice de covariance peut s’avérer extrêmement coû[Link] supposons que
les échantillons x1 , . . . , xn sont linéairement indépendants. Nous considérons la
matrice X de dimension p×n, formée par la normalisation des données centrées:

1
X = √ [x1 − x, . . . , xn − x]
n

Il est important de noter que R̂ = XX T . Nous démontrons d’abord que le rang

de X est n − 1 considérons :
 
1
rg(X) = rg √ [x1 − x̄, . . . , xn − x̄]
n
= rg([x1 − x̄, . . . , xn − x̄])

Nous appliquons ensuite une transformation linéaire aux colonnes de X sans

changer son rang :

C1 ← C1 + C2 + · · · + Cn
h i
= rg x1 + x2 + · · · + xn − nx̄ x2 − x̄ · · · xn − x̄
h i
= rg 0 x2 − x̄ · · · xn − x̄

= rg([x2 − x̄, . . . , xn − x̄])

Montrons ainsi que la famille des vecteurs {xi − x̄} pour 2 ≤ i ≤ n est libre.
Considérons des coefficients λ2 , . . . , λn ∈ R. Supposons que
n
X
λi (xi − x̄) = 0. (1)
i=2

5
Cela implique que

n n
!
X X
λ i xi = λi x̄
i=2 i=2
  !
n n
X 1X
= λi  xj
j=1
n i=2

En réorganisant, nous obtenons

 
n n n
X X X 1
λ i xi =  λ j  xi .
i=2 i=2 j=1
n

Or, si les vecteurs {xi } pour 2 ≤ i ≤ n sont orthonormaux, cela implique

que pour tout 2 ≤ i ≤ n,
n
X 1
λj = λi . (2)
j=2
n

Cependant, pour la composante x1 , nous avons λ1 = 0. Par conséquent,

λi = 0 pour tout 2 ≤ i ≤ n. Ceci démontre que la famille (xi − x̄) est libre.
Ainsi, le rang de X, noté rg(X), est égal au nombre d’éléments dans le vecteur
[x2 − x̄, . . . , xn − x̄], c’est-à-dire n − 1. En conclusion, rg(X) = n − 1.
Considérons que v est un vecteur propre de la matrice de Gram X T X, associé
à une valeur propre λ. Nous voulons montrer que u = Xv est un vecteur propre
de XX T associé à la même valeur propre λ.
Puisque v est un vecteur propre de X T X, nous avons

X T Xv = λv. (3)

En multipliant les deux côtés de l’équation par X, nous obtenons

X(X T Xv) = λ(Xv)

(XX T )(Xv) = λ(Xv).

Cela implique que Xv est un vecteur propre de XX T associé à la valeur pro-

pre λ. Ainsi, si v est un vecteur propre de X T X, alors u = Xv est un vecteur
propre de XX T associé à la même valeur propre λ.
Considérons v1 , . . . , vn−1 un ensemble de vecteurs propres orthonormés de X T X
associés aux valeurs propres non nulles. Définissons les matrices V = [v1 , . . . , vn−1 ]

6
et
U = XV (V T X T XV )−1/2 .

Nous voulons montrer que U est une matrice dont les colonnes sont des
vecteurs propres orthonormés de R̂ associés aux valeurs propres non nulles.
Puisque V est composée de vecteurs propres de X T X, nous avons

X T XV = V Λ, (4)

où Λ est une matrice diagonale des valeurs propres correspondantes.

En multipliant les deux côtés de cette équation par V T , nous obtenons

V T X T XV = V T V Λ
= Λ,

car V est orthonormée, donc V T V = I.

Ainsi, la matrice U peut être réécrite comme

U = XV (V T X T XV )−1/2
= XV Λ−1/2 .

En appliquant XX T à U , nous obtenons

XX T U = XX T XV Λ−1/2
= X(X T XV )Λ−1/2
= X(V Λ)Λ−1/2
= XV Λ1/2
= U Λ.

Cela montre que les colonnes de U sont des vecteurs propres de R̂ = XX T ,

associés aux valeurs propres non nulles, et puisque U est construite à partir de
vecteurs orthonormés, ses colonnes sont également orthonormées.
Dans notre implémentation MATLAB, nous débutons par la construction de
la matrice de Gram X T X. Nous calculons ensuite ses vecteurs propres et les
valeurs propres associées. À partir de ces informations, nous pouvons déduire
la décomposition en valeurs propres de la matrice de covariance R̂ à l’aide de
la matrice U . Cette approche permet d’obtenir efficacement les composantes

7
principales nécessaires à notre analyse.

4.1 Mise en œuvre des Eigenfaces

Dans le cadre de notre projet, l’Analyse en Composantes Principales (ACP) a
été appliquée pour identifier les directions principales dans l’espace de données
des visages. Le résultat de cette technique, les eigenfaces, sont des visages
normalisés qui correspondent aux vecteurs propres dérivés de l’ACP. Ces eigen-
faces forment une base descriptive qui permet une représentation efficace et ex-
pressive des caractéristiques faciales. Pour l’ensemble d’apprentissage, désigné
par ”Training1”, nous avons ordonné les eigenfaces selon la magnitude de leurs
valeurs propres associées, en les classant de la plus grande à la plus petite. Cette
hiérarchie est visualisée dans la Figure 1, qui illustre clairement la contribution
de chaque eigenface à la capture des caractéristiques essentielles des visages.

Figure 1: Les eigenfaces obtenues de l’ensemble ”Training1”, classées par

l’importance de leurs valeurs propres.

8
 La Figure 1 démontre que les premières rangées, qui comprennent des eigen-
faces plus nettes et contrastées, saisissent les aspects les plus significatifs des vis-
ages, tels que la forme globale, l’emplacement des yeux, du nez et de la bouche.
Ces attributs principaux correspondent aux valeurs propres les plus élevées. À
l’inverse, les rangées inférieures présentent des eigenfaces qui révèlent des détails
plus subtils et des variations moins dominantes, comme les textures et les nu-
ances de lumière, associées à des valeurs propres inférieures. Cette progression
illustre la capacité de l’ACP à hiérarchiser les informations faciales de la plus à
la moins influente pour la reconstruction et l’identification des visages.
Pour évaluer l’impact du choix de la dimension du facespace ℓ, nous avons visu-
alisé l’évolution des visages reconstruits pour différentes valeurs de ℓ. Comme
illustré dans la Figure ci-dessous, nous avons observé une amélioration signi-
ficative de la clarté et de la précision des images avec l’augmentation de ℓ. Les
images reconstruites montrent une transition de représentations abstraites et
floues pour ℓ = 2 à des reconstructions détaillées et nettes pour ℓ = 59. Ce
progrès démontre la puissance de l’ACP pour la capture et la reconstruction
fidèle des caractéristiques faciales avec un nombre croissant de dimensions du
facespace.

9
Figure 2: Évolution des visages reconstruits avec différentes dimensions ℓ du
facespace, montrant une amélioration progressive de la clarté et de la précision
des images.

Dans la figure 3, chaque rangée correspond à une valeur différente de ℓ,

débutant par les reconstructions les plus basiques avec ℓ = 2, et progressant
vers des reconstructions de plus en plus complexes. Notamment, pour ℓ = 6, les
traits du visage fines commencent à être discernables. À ℓ = 27, la ressemblance
avec les visages originaux est notable, tandis qu’à ℓ = 59, les images reconstru-
ites atteignent une qualité presque identique à celle des images originales avec
toutes les détailes de lumiere reaparaissent. Cette progression met en évidence
l’importance de sélectionner une dimension de facespace appropriée pour cap-
turer l’essence des caractéristiques faciales tout en restant efficace en termes de
calcul.

4.2 Analyse du Ratio de Reconstruction et Choix de la

Dimension de Facespace
Pour choisir la dimension optimale ℓ∗ , nous avons représenté le ratio de recon-
struction κ(ℓ). Ce ratio quantifie la qualité de la reconstruction des visages en
utilisant un nombre réduit de composantes.

10
Figure 3: Évolution des visages reconstruits avec différentes dimensions ℓ du
facespace.

Dans notre contexte, afin de garantir un ratio de reconstruction κ(ℓ) égal à

0.9, il en ressort que la dimension optimale ℓ∗ est égale à 8.

4.3 Considérations sur l’Utilisation de la Base Training2

En envisageant l’utilisation de la base ”Training2”, plusieurs limitations peuvent
être anticipées, surtout que ”Training2” contient 5 images par individu tandis
que ”Training1” en contient 10 par individu.

5 Classification
5.1 Classifieur K-NN
5.2 Classifieur Gaussien

6 Conclusion

11