Institut Supérieur d’Informatique et de Multimédia de Sfax

Auditoire: 2ème année LSI-ADBD

Chapitre 3:
Analyse en
Composantes Principales
(ACP)
Souhir BOUAZIZ AFFES
[Link]@[Link]

A.U. 2024/2025
Plan
Principe de l’ACP
Motivation, Applications, Situation, Objectifs, Notion de projection
ACP et la covariance
ACP et la corrélation
Procédure de l’ACP à partir d’un exemple
Procédure de l’ACP
Combien de composantes principales?
Typologies des individus et des variables
Exercices

ISIMS 94
 Principe de l’ACP : Motivation
Le but de l'ACP est de réduire la dimensionnalité d'un ensemble de
données (échantillon) en trouvant un nouvel ensemble de variables,
plus petit que l'ensemble de variables initiales, qui conserve néanmoins
la plupart des informations de l'échantillon :
Simplification de la réalité
Concentration d’une information de départ diluée
Description du maximum de variabilité dans un espace réduit
X1 X2 X3 ...
ind 1 33 12 55 ...
ind 2 25 11 50 ...
ind 3 29 11 43 ...
... ... ... ... ...

X10 X
5
X6 X
3

X1
X2
X4
Xj 95
ISIMS X X X8
 Principe de l’ACP : Motivation
Dessinez c’est gagné?
Simplifier un objet 3D (réalitée) par une représentation en 2D (plan)

Comment choisir le bon espace de projection ?

ISIMS 96
 Principe de l’ACP : Intérêt
Les données du monde réel sont constituées de nombreuses
caractéristiques (variables), qui peuvent être redondantes.
Lorsque nous travaillons avec ces caractéristiques, nous pouvons
rencontrer plusieurs problèmes :
Sur-ajustement (ou sur-apprentissage) du modèle
Consommation du temps
Pour résoudre ces problèmes, nous pouvons appliquer la
réduction de la dimensionnalité aux données. Il existe deux types
de réduction de la dimensionnalité :
Élimination de caractéristiques
Extraction de caractéristiques – ACP
L'ACP est souvent utilisée pour réduire la dimension des
données et faciliter leur exploration et leur visualisation. 97
 Principe de l’ACP : Applications
Analyses explicatives ou prédictives:
Réduction du nombres de variables explicatives (𝑋(𝑗) ) avant
modélisation
Obtention de nouvelles variables explicatives (𝐶𝑃(𝑗) ) non corrélées
Imagerie :
Compression d’image
Reconnaissance faciale

ISIMS 98
 Principe de l’ACP : Situation
𝑝 variables quantitatives ont été mesurées sur 𝑛 individus :
X1 X2 ... Xj ... Xp
ind 1 x11 x11 ... x1j ... x1p
ind 2 x12 x22 ... x2j ... x2p
... ... ... ... ... ... ...
ind i xi1 xi2 ... xij ... xip
... ... ... ... ... ... ...
ind n xn1 xn2 ... xnj ... xnp

Question : Peut-on « simplifier », « concentrer » ou « compresser »

l’essentiel de l’information contenue dans ce tableau?
Exemple : cas d'une image, les pixels sont représentés dans un plan et
considérés comme une variable aléatoire à deux dimensions.
L'ACP va déterminer les deux axes qui expliquent le mieux
la dispersion de l'objet. Elle va aussi les ordonner par
quantité d’information, le second axe étant perpendiculaire
au premier.
ISIMS 99
 Principe de l’ACP : Objectifs
Résumer le tableau de façon à identifier les variables ou
combinaisons de variables selon lesquelles les 𝑛 individus se
différencient le plus
Transformer 𝑝 variables quantitatives initiales inter-corrélées en 𝑝
nouvelles variables « Composantes Principales » (CP)
Ces Composantes Principales sont non corrélées, et sont ordonnées
par la part de l'information totale que chacun d'eux retient.
Examiner la position des 𝑛 individus le long de ces « composantes
principales »
Typologie des individus
Etudier les relations des 𝑝 variables le long de ces « composantes
principales »
Typologie des variables

ISIMS 100
 Principe de l’ACP : Notion de projection
Cas simple d’un tableau à 2 variables (𝑝 = 2, 𝑋(1) et 𝑋(2) ) et 𝑛 individus :
On pourrait résumer ce tableau par une « composante principale » 𝐶𝑃1
Projection orthogonale des individus le long de 𝐶𝑃1

CP1
CP2

Orthogonalité de 𝐶𝑃2 par rapport à 𝐶𝑃1

ISIMS 101
 Principe de l’ACP : Notion de projection
Il est recommandé de toujours centrer les valeurs associées à chaque
variable 𝑋(𝑗) pour éviter le problème de la translation au cours du
changement de repère
 Utilisez la matrice de données 𝑋 − 𝑋ത au lieu de la matrice 𝑋

Comment allez-vous positionner 𝐶𝑃1 puis 𝐶𝑃2 ?

ISIMS 102
 ACP et la covariance
ACP : calculs des CPs basées sur la covariance entre variables
Qu’est-ce que la covariance entre deux variables 𝑋(1) et 𝑋(2) ?
Indique si à un écart positif de 𝑋(1) pour un individu 𝑖 par rapport à la moyenne
sur 𝑋(1) correspond un écart positif ou négatif de 𝑋(2) pour ce même individu 𝑖
par rapport à la moyenne sur 𝑋(2)
𝑛
1 1
𝐶𝑜𝑣 𝑋(1) , 𝑋(2) = ത (1) , 𝑋 − 𝑋ത
< (𝑋 − 𝑋) (2) >= ෍(𝑥𝑖1 − 𝑋(1) )(𝑥𝑖2 − 𝑋(2) )
𝑛 𝑛
𝑖=1
1
= σ𝑛𝑖=1 𝑥𝑖1 𝑥𝑖2 − 𝑋 1 𝑋(2)
𝑛
Si 𝑋(1) et 𝑋(2) sont centrées,
𝐶𝑜𝑣 𝑋(1), 𝑋(1) = 𝑉𝑎𝑟 𝑋 𝑖 alors 𝑋 1 = 𝑋(2) = 0
C’est le signe de la covariance qui importe :
𝐶𝑜𝑣 𝑋(1) , 𝑋(2) > 0 : 𝑋(1) augmente quand 𝑋(2) augmente
𝐶𝑜𝑣 𝑋(1) , 𝑋(2) < 0 : 𝑋(1) augmente quand 𝑋(2) diminue
La covariance indique la direction de la relation
linéaire entre les variables.
ISIMS 103
 ACP et la covariance
Visualisation graphique de la covariance sur variables centrées :
+
+
+
𝐶𝑜𝑣 𝑋(1) , 𝑋(2) = 0,5539> 0
+
X ( 2) +

+ -

+
+
+ X (1)

ISIMS 104
 ACP et la covariance
Pour 𝑝 > 2, on calcule la covariance pour toutes les paires de
variables possibles : Matrice 𝐶(𝑋) de covariances

 var( X (1) ) cov( X (1) , X ( 2 ) ) ... cov( X (1) , X ( j ) ) ... cov( X (1) , X ( p ) ) 
 
 cov( X ( 2 ) , X (1) ) var( X ( 2 ) ) ... cov( X ( 2 ) , X ( j ) ) ... cov( X ( 2 ) , X ( p ) ) 
 ... ... ... ... ... ... 
C( X )   
 cov( X ( j ) , X (1) ) cov( X ( j ) , X ( 2 ) ) ... var( X ( j ) ) ... cov( X ( j ) , X ( p ) ) 
 ... ... ... ... ... ... 
 
 cov( X , X ) cov( X , X ) ... cov( X ( p ) , X ( j ) ) ... var( X ( p ) ) 
 ( p) (1) ( p) ( 2)

Propriétés :
𝐶 𝑋 est une matrice carré de taille 𝑝 × 𝑝
𝐶 𝑋 est une matrice symétrique

ISIMS 105
 ACP et la corrélation
Corrélation = covariance « standardisée » : réduction
Comprise entre -1 et 1, la corrélation mesure à la fois l’intensité et
la direction de la liaison linéaire entre deux variables 𝑋(1) et 𝑋(2)

Cov 𝑋 1 , 𝑋 2
𝑟 𝑋 1 ,𝑋 2 =
𝜎(𝑋 1 ) 𝜎 𝑋 2

Cov 𝑋 1 , 𝑋 1
𝑟 𝑋(1) , 𝑋(1) =
𝜎(𝑋 1 ) 𝜎 𝑋 1
Var 𝑋 1
= Var 𝑋 1
=1

ISIMS 106
 ACP et la corrélation
Si l’ACP (non-normée) est basée sur la matrice de covariances,
l’ACP normée est basée sur la matrice de corrélations :
 1 r ( X (1) , X ( 2 ) ) ... r ( X (1) , X ( j ) ) ... r ( X (1) , X ( p ) ) 
 
 r ( X ( 2 ) , X (1) ) 1 ... r ( X ( 2 ) , X ( j ) ) ... r ( X ( 2 ) , X ( p ) ) 
 ... ... ... ... ... ... 
R( X )   
 r ( X ( j ) , X (1) ) r ( X ( j ) , X ( 2 ) ) ... 1 ... r ( X ( j ) , X ( p ) ) 
 ... ... ... ... ... ... 
 
 r ( X , X ) r ( X , X ) ... r ( X , X ) ... 1 
 ( p) (1) ( p) ( 2) ( p) ( j) 
Propriétés :
𝑅 𝑋 est une matrice carré de taille 𝑝 × 𝑝
𝑅 𝑋 est une matrice symétrique
𝑅 𝑋 possède une diagonale de 1
ISIMS 107
 ACP et la corrélation
S’il est recommandé de toujours « centrer » ses données en
ACP, la question de les « réduire » (ACP normée) dépend de
vos données :
Si vos données sont toutes dans la même unité de mesure et
varient dans des gammes de valeurs identiques : l’ACP non-
normée suffit
Si vos données sont dans des unités de mesure différentes et
varient dans des gammes de valeurs différentes : l’ACP normée est
recommandée

ISIMS 108
 Procédure de l’ACP à partir d’un
exemple
Soit l’exemple : 𝐼3
𝐼5
𝐼6
𝑋(1) 𝑋(2)
𝐼1
𝐼1 2,5 2,4 𝐼4
0,5 0,7 X (1)
2,2 2,9
1,9 2,2 𝐼9
3,1 3 𝐼7
𝑋=
2,3 2,7
2 1,6 𝐼8 0,69 0,49
1 1,1 𝐼10 −1,31 −1,21
1,5 1,6 𝐼2 X (1) 0,39 0,99
𝐼10 1,1 0,9 0,09 0,29
ഥ = 1,29
𝑿− 𝑿
1,09
0,49 0,79
0,19 −0,31
𝑋(1) = 1.81 −0,81 −0,81
−0,31 −0,31
ISIMS 𝑋(2) = 1.91 −0,71 109
−1,01
 Procédure de l’ACP à partir d’un
exemple
ACP non-normée  matrice de covariances
1 𝑉𝑎𝑟(𝑋 1 ) = 0,5549
C 𝑋 = (𝑋 − 𝑋)𝑡 (𝑋 − 𝑋)
𝑛 𝑉𝑎𝑟(𝑋 2 ) = 0,6449
𝐶𝑜𝑣(𝑋(1) , 𝑋(2) ) = 0.5539
 0.5549 0.5539 
C(X)   
 0.5539 0.6449 

Utilisation de la matrice de covariances pour changer de repère:

Calcul du vecteur directeur de CP1
Calcul du vecteur directeur de CP2

ISIMS 110
 Procédure de l’ACP à partir d’un
exemple
Une histoire d’algèbre linéaire et de calculs matriciels :
Détermination des 𝑝 valeurs propres 𝜆𝑗
Détermination des 𝑝 vecteurs propres 𝑉𝑗
Soit la matrice de covariances 𝐶 de taille 𝑝 𝑥 𝑝, elle admet p
valeurs propres et 𝑝 vecteurs propres associés, tels que :
𝐶𝑉𝑗 = 𝜆𝑗𝑉𝑗
Dans notre exemple à deux variables, 𝐶 admet 2 valeurs propres
et 2 vecteurs propres tels que soit vérifié les égalités suivantes :
 0.5549 0.5539  v 1,1   v 1,1 
    λ 1  
 0.5539 0.6449  v 1,2   v 1,2 
 0.5549 0.5539  v 2,1   v 2,1 
    λ 2  
 0.5539 0.6449  v 2,2   v 2,2 
ISIMS 111
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 valeurs propres 𝜆1 et 𝜆2 :
Calcul du déterminant de 𝐶 – 𝜆𝐼
Résolution de l’équation det(𝐶 – 𝜆𝐼) = 0
 0.5549 0.5539   1 0 
C  λI     λ  
 0.5539 0.6449   0 1 
 0.5549  λ 0.5539 
C  λI   
 0.5539 0.6449  λ 
det(C  λI)  0.5549  λ 0.6449  λ   0.55392
λ 2  1.1998 λ  0.0510498  0
Δ  b2  4ac  1.23532084
b Δ b Δ
λ1   1.155625 λ2   0.044175
ISIMS 2a 2a 112
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 valeurs propres 𝜆1 et 𝜆2 ...
Chaque valeur propre représente la variance des données autour
d’un nouvel axe CP ou « composante principale » qui est une
combinaison linéaire des variables de départ
λ 1  λ 2  Var(X (1) )  Var(X (2) ) Valeur Pourcentage Pourcentage
propre cumulé

1.155625  0.044175  0.6449  0.5549  1.1998 CP1 1,155625 96,3181 96,3181

La première composante principale ou CP1 CP 2 0,044175 3,6819 100

associée à λ1 porte ≈96% de la variance totale Histogramme des valeurs

1,5
La deuxième composante principale ou CP2 propres

associée à λ2 porte ≈ 4% de la variance totale 1

A partir d’une seule dimension (CP1), il est possible 0,5

ici de résumer ≈ 96% de l’information de départ
0
contenue dans deux dimensions (X(1), X(2)) CP1 CP 2
ISIMS 113
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 vecteurs propres 𝑉1 et 𝑉2 :
Résolution des 2 systèmes d’équations 𝑪𝑽𝒋 − 𝝀𝒋𝑽𝒋 = 𝟎

Une solution possible : les vecteurs unitaires :

ISIMS 114
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 vecteurs propres 𝑉1 et 𝑉2 ...
Prenons cette équation (1ère équation du 1er système)

0.5549  v 1,1  0.5539  v 1,2  1.155625 v 1,1  0

0.5539  v 1,2  0.600725 v 1,1  0 v 1,1  0.9220525 v 1,2

2
et on a : v 1,1  v 1,2
2
 1 (car vecteur unitaire)
1
(0,9220525 × v1,2 )2 +v1,2 2 = 1 v1,2 2 =
1,8501808
Une solution possible est: v1,2 = 0,7351787

Et on a : v 1,1  0.9220525 v 1,2

v1,1 = 0,6778734
ISIMS 115
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 vecteurs propres 𝑉1 et 𝑉2 ...
Prenons cette équation (1ère équation du 2ème système)
0.5549  v 2,1  0.5539  v 2,2  0.044175  v 2,1  0

0.5539  v 2,2  0.510725 v 2,1  0 v 2,1  1.0845367  v 2,2

et on a : v 22,1  v 22,2  1 (car vecteur unitaire)

1
(−1,0845367 × v2,2 )2 +v2,2 2 = 1 v2,2 2 =
2,1762199
Une solution possible est: v2,2 = 0,6778734

Et on a : v 2,1  1.0845367  v 2,2

v2,1 = −0,7351786

ISIMS 116
 Procédure de l’ACP à partir d’un
exemple
Une solution possible (cf. sous la contrainte que 𝑉1 et 𝑉2 soient
tout 2 des vecteurs unitaires de norme égale à 1)
 0.6778734
V1    2
NB : v 1,1  v 1,2
2
1
 0.7351787

  0.7351786 
V2    NB : v 22,1  v 22,2  1
 0.6778734 
𝐶𝑃1 𝐶𝑃2
𝑋(1)
 0.6778734  0.7351786  1.155625 0 
𝑄 =   Et D  C(Y)   
𝑋(2)  0.7351787 0.6778734   0 0.044175

C ( X )  QDQ t Et Y  XQ
ISIMS 117
 Procédure de l’ACP à partir d’un
exemple
𝑋(1) 𝑋(2)
𝐼1 0,69 0,49 𝐼1 0,828 −0,175
−1,31 −1,21 −1,778 0,143
0,39 0,99 0,992 0,384
0,09 0,29 𝐶𝑃1 𝐶𝑃2 0,274 0,13
𝑋(1)
ഥ 𝑄 = 1,29 1,09 0,6778734 −0,735186 1,676 −0,209
𝑌= 𝑿− 𝑿 × =
0,49 0,79 𝑋 0,7351787 0,6778734 0,913 0,175
0,19 −0,31 (2) −0,099 −0,35
−0,81 −0,81 −1,145 0,046
−0,31 −0,31 −0,438 0,018
𝐼10 −0,71 −1,01 𝐼10 −1,224 −0,163

𝑌: matrice des scores des individus : matrice des

valeurs des composantes principales sur les individus

ISIMS 118
 Procédure de l’ACP à partir d’un
exemple
𝑉1 et 𝑉2 sont les vecteurs directeur de CP1 et CP2 :
𝐼3 V2 𝐼3
V1 𝐼5
𝐼6
V2 𝐼6
𝐼4 𝐼1 𝐼2 𝐼4
𝐼8 𝐼9
V1
𝐼9
𝐼7 𝐼10 𝐼1 𝐼5
𝐼8
𝐼10
𝐼2 𝐼7

CP1 porte 96% de l’inertie totale du nuage de point

NB : 𝑟(𝑋1, 𝑋2) = 0.93 mais 𝑟(𝐶𝑃1, 𝐶𝑃2) = 0
ISIMS 119
 Procédure de l’ACP à partir d’un
exemple
L’information (variance) portée par CP1 est tellement
importante que l’on peut se passer de CP2 :
Cela revient à compresser l’information originale portée par
deux dimensions sur une seule dimension avec une perte ici de
4% de l’information d’origine
Par analogie, une fois que l’on a vu le chameau de profil, le voir
de face n’apporte pas beaucoup plus d’information...

N.B. L’ACP non-normée est une application rare et en général,

on travail avec la matrice des corrélations (ACP normée)

ISIMS 120
 Procédure de l’ACP à partir d’un
exemple
Cas de l’ACP normée sur le même jeu de données :
1 t  1 0.93
R ( X )  Z Z   
n  0.93 1 
 1  λ 0.93 
R  λI   
 0.93 1  λ 
det(R  λI)  1  λ 1  λ   0.932
λ 2  2λ  0.1351  0
Δ  b2  4ac
b  b 
1   1.93 2   0.07
2a 2a
1  1  r 2  1  r
ISIMS 121
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 vecteurs propres 𝑉1 et 𝑉2 :
Résolution des 2 systèmes d’équations 𝑪𝑽𝒋 −
𝝀𝒋𝑽𝒋 = 𝟎

Une solution possible : les vecteurs unitaires :

ISIMS
2
v 11  v 12
2
 1 Et v 221  v 222  1 122
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 vecteurs propres 𝑉1 et 𝑉2 ...
Prenons cette équation (1ère équation du 1er système)

v 1,1  0.93  v 1,2  1.93  v 1,1  0

0.93  v 1,2  0.93  v 1,1  0 v 1,1  v 1,2

2
et on a : v 1,1  v 1,2
2
 1 (car vecteur unitaire)
1
2 2
v1,2 + v1,2 = 1 v1,2 2 =
2

Une solution possible est: 1

v1,2 =
2
1
v1,1 =
2

ISIMS 123
 Procédure de l’ACP à partir d’un
exemple
Détermination des 2 vecteurs propres 𝑉1 et 𝑉2 ...
Prenons cette équation (1ère équation du 2ème système)

v 2,1  0.93  v 2,2  0.07  v 2,1  0

0.93  v 2,2  0.93  v 2,1  0 v 2,1   v 2,2

et on a : v 22,1  v 22,2  1 (car vecteur unitaire)

1
2
(−v2,2 ) + v2,2 = 12 v2,2 2 =
2

Une solution possible est: 1

v2,2 =
2
1
v2,1 = −
2

ISIMS 124
 Procédure de l’ACP à partir d’un
exemple
Une solution possible (cf. sous la contrainte que V1 et V2 soient
tout 2 des vecteurs unitaires de norme 1))
 1   1   1 1 
         1.93 0 
V1   2  V  2  Q 2 2  D 
 1  2  1   1 1  
       0 0.07 
 2  2   2 2 
v12,1  v12, 2  1 2 2
v2,1  v2, 2  1 𝑌: matrice des scores des individus
0,926 0,61 𝐼1 1,086 −0,223
−1,759 −1,506 −2,309 0,178
0,524 1,233 1,242 0,501
0,121 0,361 0,341 0,17
1,732 1,357 0,707 −0,707 2,184 −0,264
𝑌=𝑍𝑄= × =
0,658 0,984 0,707 0,707 1,161 0,23
0,255 −0,386 −0,093 −0,453
−1,087 −1,009 −1,482 0,056
−0,416 −0,386 −0,567 0,021
ISIMS −0,953 −1,258 𝐼10 −1,563 −0,215 125
 Procédure de l’ACP à partir d’un
exemple
V1 et V2 sont les vecteurs directeur de CP1 et CP2 :
𝐼3 V2 𝐼3
𝐼6 𝐼5
V1
𝐼6
𝐼4 𝐼1 𝐼2 𝐼4
V2
𝐼8 𝐼9 V1
𝐼9
𝐼7 𝐼10 𝐼1 𝐼5
𝐼8
𝐼10
𝐼2 𝐼7

ISIMS 126
 Procédure de l’ACP
Étape 1: Changement de repère
Utiliser les données centrées (la matrice 𝑋 − 𝑋ത au lieu de la
matrice 𝑋) ou les données centrées-réduites (la matrice 𝑍 au lieu de
la matrice 𝑋) selon vos données
Ancien repère:
 chaque individu est représenté par un point de ℝ𝑝
 chacun des axes de ℝ𝑝 représente une des 𝑝 variables
Nouveau repère:
 nouveaux axes (droites) passant par l’origine et 𝑝 vecteurs unitaires et
deux à deux orthogonaux (𝐶𝑃1 , … , 𝐶𝑃𝑝 )
 chacun des axes représente une nouvelle variable, qui est
combinaison linéaire des anciennes variables.
 chaque individu est représenté sur ce nouveau repère, par sa
projection orthogonale sur ces axes

ISIMS
𝑌 = 𝑋 − 𝑋ത Q ou 𝑌 = 𝑍 𝑄 127
 Procédure de l’ACP
Étape 1: Changement de repère ...
Plan d'origine

ISIMS 128
 Procédure de l’ACP
Étape 2: Choix du nouveau repère
But: trouver le nouveau repère (𝐶𝑃1 , … , 𝐶𝑃𝑝 ) tel que la quantité
d’information expliquée par 𝐶𝑃1 soit maximale, puis celle expliquée
par 𝐶𝑃2 , etc.
Mesure de la quantité d’information :
 Utiliser la covariance pour les données centrées ou la corrélation pour
les données centrées-réduites
 Plus la variance d’une variable est grande, plus les données de cette
variable sont dispersées, et plus la quantité d’information apportée
est importante
 Quantité d’information = variabilité totale des données
ACP non-normée ACP normée
𝑝 𝑝
Tr 𝐶 𝑋 − 𝑋ത = Tr 𝐶 𝑋 = ෍ Var 𝑋 𝑗 Ou Tr 𝐶 𝑍 = ෍ Var 𝑍 𝑗 =𝑝×1
𝑗=1 𝑗=1

ISIMS
= Tr 𝐶 𝑌 = Tr 𝐶 𝑌 129
 Procédure de l’ACP
Étape 2: Choix du nouveau repère …
Choix du nouveau repère :
 Déterminer 𝑄 de sorte que la part de la variabilité totale expliquée par
les données 𝑌(1) de la nouvelle variable 𝐶𝑃1 soit maximale, puis celle
expliquée par les données 𝑌(2) de la nouvelle variable 𝐶𝑃2 , etc.
 En appliquant le Théorème spectral pour les matrices symétriques :
x1 x2  xi  x p
 
𝐷 = 𝐶(𝑌)
x1
x2
 Matrice des  C ( X )  QDQ t
  covariances  𝑄
1 2  i  p
xi (ou corrélation)  CP1 CP2  CPi  CPp
1 1
      x1
2
 2 0    x2  
  xp  
i
 i
 
 
    xi
 
  
p 0 p 
Diagonalisation xp




Matrice « diagonale » Matrice des
ISIMS des valeurs propres vecteurs propres 130
 Procédure de l’ACP
Étape 2: Choix du nouveau repère …
Choix du nouveau repère …
 On a donc :
o 𝑉𝑎𝑟 𝑌 𝑗 = 𝜆𝑗
o 𝐶𝑜𝑣 𝑌 𝑖 , 𝑌 𝑗 = 0 𝑞𝑢𝑎𝑛𝑑 𝑖 ≠ 𝑗
o 𝑉𝑎𝑟 𝑌 1 ≥ ⋯ ≥ 𝑉𝑎𝑟 𝑌 𝑝
 Les colonnes 𝐶𝑃1 , … , 𝐶𝑃𝑝 de la matrice 𝑄 décrivent les nouvelles
variables, appelées les composantes principales.
 Dans le cas des données centrées réduites (Matrice de données 𝒁),
la matrice de covariance est la matrice de corrélation 𝑹(𝑿)

𝑋(𝑖) − 𝑋(𝑖) 𝑋(𝑗) − 𝑋(𝑗)

𝐶𝑜𝑣 𝑍 𝑖 , 𝑍 𝑗 = 𝐶𝑜𝑣 , =𝑟 𝑋 𝑖 , 𝑋 𝑗
𝜎(𝑋 𝑖 ) 𝜎(𝑋 𝑗 )

ISIMS 131
 Procédure de l’ACP
Étape 2: Choix du nouveau repère …
Projection des individus sur le nouveau repère:
 𝑌 : matrice des scores des individus : matrice des valeurs des
composantes principales sur les individus

𝑌 = 𝑋 − 𝑋ത Q ou 𝑌 = 𝑍 𝑄

ISIMS 132
 Procédure de l’ACP
Étape 3: Interprétation des résultats
Parts de la variabilité totale
 La part de la variabilité totale expliquée par les données 𝑌 1 , …, 𝑌 𝑘
des 𝑘 premières nouvelles variables (𝑘 ≤ 𝑝), est :

𝑉𝑎𝑟 𝑌 1 + ⋯ + 𝑉𝑎𝑟 𝑌 𝑘 𝜆1 + ⋯ + 𝜆𝑘
=
𝑉𝑎𝑟 𝑌 1 + ⋯ + 𝑉𝑎𝑟 𝑌 𝑝 𝜆1 + ⋯ + 𝜆𝑝

 Dans la pratique, on calcule cette quantité pour 𝑘 = 2 𝑜𝑢 3, en

utilisant le test du coude
 En multipliant par 100, ceci donne le pourcentage de la variabilité
totale expliquée par les données des 2 ou 3 premières nouvelles
variables.
 Si ce pourcentage est raisonnable, on choisira de se restreindre aux 2
ou 3 premiers axes.
ISIMS 133
 Procédure de l’ACP
Étape 3: Interprétation des résultats …
Saturation des variables : Corrélation entre les données des anciennes
et des nouvelles variables
 Etant donné que les nouvelles variables sont dans un sens
“artificielles”, on souhaite comprendre la corrélation entre les
données 𝑋 − 𝑋ത (𝑗) de la 𝑗è𝑚𝑒 ancienne variable et celle 𝑌 𝑘 de la
𝑘è𝑚𝑒 nouvelle variable.
 La matrice de covariance 𝐶(𝑋, 𝑌) de 𝑋 − 𝑋 ത et 𝑌 est donnée par :

𝐶 𝑋, 𝑌 = 𝑄𝐷
Ainsi:
𝐶𝑜𝑣 𝑋 𝑗 ,𝑌𝑘 = 𝐶 𝑋, 𝑌 𝑗𝑘 = 𝑞𝑗𝑘 𝜆𝑘
Cov 𝑋 𝑗 ,𝑌𝑘 𝑞𝑗𝑘 𝜆𝑘 𝑞𝑗𝑘 𝜆 𝑘
𝑟 𝑋 𝑗 , 𝑌𝑘 = = =
𝜎(𝑋 𝑗 ) 𝜎 𝑌𝑘 𝑐𝑗𝑗 𝜆𝑘 𝑐𝑗𝑗

ISIMS
𝐴𝑣𝑒𝑐: 𝑐𝑗𝑗 = 𝑉𝑎𝑟(𝑋(𝑗) ) 134
 Procédure de l’ACP
Étape 3: Interprétation des résultats …
Saturation des variables …
 Dans le cas des données centrées réduites (Matrice de données 𝒁),
la matrice de covariance est la matrice de corrélation 𝑹(𝑿)

o La corrélation entre 𝑍(𝑗) et 𝑌(𝑘) est :

𝑟 𝑍 𝑗 ,𝑌𝑘 = 𝜆𝑘 𝑞𝑗𝑘

Car les coefficients diagonaux de la matrice de covariance (qui est la

matrice de corrélation) sont égaux à 1

ISIMS 135
 Procédure de l’ACP
Étape 3: Interprétation des résultats …
Saturation des variables …
X(i)
 Cercle de corrélation
rjk coefficient de
corrélation entre la
cp2 Cas des données centrées: X(j)
variable et la X(i)
composante principale 1
𝑋(𝑗) = 𝑋 − 𝑋ത (𝑗)

Cas des données centrées-réduites:

X(j)
rj2 𝑋(𝑗) = 𝑍(𝑗) X(j)
cp1 X(i)
0 1
rj1 X(j)
Coordonnées - Corrélations
𝒀(𝟏) … 𝒀(𝒑)
𝑿(𝟏) 𝑟 𝑋 1 , 𝑌1 … 𝑟 𝑋 1 , 𝑌𝑝
Cercle de corrélation
⋮ … 𝑟 𝑋 𝑗 , 𝑌𝑘 ⋮

ISIMS 𝑿(𝒑) 𝑟 𝑋 𝑝 , 𝑌1 … 𝑟 𝑋 𝑝 , 𝑌𝑝 136

 Procédure de l’ACP
Étape 3: Interprétation des résultats …
Saturation des variables …
 Cercle de corrélation : Notre exemple

CP2 Coordonnées - Corrélations

𝒀(𝟏) 𝒀(𝟐)
𝑿(𝟏) 0,97825 -0,20743
𝑿(𝟐) 0,98414 0,17742

X(2)
𝒀(𝟏) 𝒀(𝟐)

X(1) CP1 𝒁(𝟏) 0,98234 −0,18708

𝒁(𝟐) 0,98234 0,18708

ISIMS 137
 Combien de composantes principales?
L’ACP d’une matrice de données à 𝑝 variables et 𝑛 individus
admet 𝑝 valeurs propres, 𝑝 vecteurs propres, et 𝑝 composantes
principales :
Conservez au moins 70-80% de la variance en cumulé
Critère de Kaiser: Conservez toute les composantes principales
dont 𝜆 > 1
Critère du coude: Utilisez l’histogramme des valeurs propres (scree
plot):
 sur l’évolution des valeurs propres, on observe
un décrochement (coude) suivi d’une décroissance
régulière. On sélectionne les axes avant le décrochement
Attention :
L’ACP sur une matrice de données tel que 𝑝 > 𝑛 est impossible

ISIMS 138
 Typologies des individus et des
variables
Typologie des individus : projection des individus sur le plan factoriel
Courbe de score de l’ACP: La lecture graphique de
la position des individus le long des CPs permet de
dresser une typologie
Les individus proches le long d’une CP sont des
individus qui partagent les mêmes caractéristiques
vis-à-vis des variables quantitatives étudiées
Typologie des variables : projection des variables sur le plan factoriel
Courbe de chargement de l'ACP: montre
l'influence de chaque variable initiale
sur une composante principale
La lecture graphique du cercle des corrélations
permet de juger du poids des différentes
variables de départ sur chacune des CPs
ISIMS 139
 Exemple

Données initiales Données centrées

𝑀

1 𝑡
Cov 𝑋 = 𝑀 𝑀
𝑛
ISIMS 140
 Exemple

Valeurs propres
Matrice de covariance
Remarque:
= Tr(C)=14.2+46.7+13.5
(Somme des variances dans la diagonale)
Vecteurs propres
Valeur Pourcentage Pourcentage
propre cumulé
CP1 73,718 99,083 99,083
CP2 0,384 0,516 99,599
CP3 0,298 0,401 100
ISIMS 141
 Exemple

𝑌 = 𝑋 − 𝑋ത Q = M Q =

Prenant uniquement la 1ère composante principale:

ISIMS 142
 Exercice 1
Soit la matrice de données 𝑋 suivante : /40
Statistiques Math Cpta G° Fi
Individu n° 1 19 14 8 18
Individu n° 2 20 12 4 4
Individu n° 3 10 10 32 38
Individu n° 4 13 17 4 4
Individu n° 5 6 8 26 24
Individu n° 6 6 3 28 32
Individu n° 7 19 16 8 20
Individu n° 8 15 18 6 6
Individu n° 9 9 2 32 30
Individu n° 10 8 7 20 20

Moyenne 12,5 10,7 16,8 19,6

Écart type 5,2010 5,3861 11,3208 11,3772
ISIMS 143
 Exercice 1
ത de 𝑋 :
Déterminer la matrice centrée (𝑋 − 𝑋)

Statistiques Math Cpta G° Fi

Individu n° 1 6,50 3,30 -8,80 -1,60
Individu n° 2 7,50 1,30 -12,80 -15,60
Individu n° 3 -2,50 -0,70 15,20 18,40
Individu n° 4 0,50 6,30 -12,80 -15,60
Individu n° 5 -6,50 -2,70 9,20 4,40
Individu n° 6 -6,50 -7,70 11,20 12,40
Individu n° 7 6,50 5,30 -8,80 0,40
Individu n° 8 2,50 7,30 -10,80 -13,60
Individu n° 9 -3,50 -8,70 15,20 10,40
Individu n° 10 -4,50 -3,70 3,20 0,40

Moyenne 0,00 0,00 0,00 0,00

Écart type 5,20 5,39 11,32 11,38
ISIMS 144
 Exercice 1
ത
Nuage de points de la matrice 𝑋 et celui de la matrice (𝑋 − 𝑋)

20 10

18 Individu n° 8 8
Individu n° 8
Individu n° 4 Individu n° 4
Individu n° 7
16 6
Individu n° 7

14 4
Individu n° 1 Individu n° 1

12 2
Individu n° 2 Individu n° 2
Individu n° 3
10 Individu n° 3 0
-10 -8 -6 -4 -2 0 2 4 6 8 10
Individu n° 5
8 Centre de Individu n° 5 -2 Centre de
Individu n° 10 gravité Individu n° 10 gravité
6 -4

4 -6
Individu n° 6 Individu n° 6
2 Individu n° 9 -8
Individu n° 9

0 -10
0 2 4 6 8 10 12 14 16 18 20

ISIMS 145
 Exercice 1
Déterminer la matrice centrée réduite (𝑍) de 𝑋 :

Statistiques Math Cpta G° Fi

Individu n° 1 1,2498 0,6127 -0,7773 -0,1406
Individu n° 2 1,4420 0,2414 -1,1307 -1,3712
Individu n° 3 -0,4807 -0,1300 1,3427 1,6173
Individu n° 4 0,0961 1,1697 -1,1307 -1,3712
Individu n° 5 -1,2498 -0,5013 0,8127 0,3867
Individu n° 6 -1,2498 -1,4296 0,9893 1,0899
Individu n° 7 1,2498 0,9840 -0,7773 0,0352
Individu n° 8 0,4807 1,3553 -0,9540 -1,1954
Individu n° 9 -0,6730 -1,6153 1,3427 0,9141
Individu n° 10 -0,8652 -0,6870 0,2827 0,0352

Moyenne 0,00 0,00 0,00 0,00

Écart type 1 1 1 1
ISIMS 146
 Exercice 1
ത et celui de la matrice 𝑍
Nuage de points de la matrice (𝑋 − 𝑋)
10 10

8 8
Individu n° 8
Individu n° 4
6 6
Individu n° 7

4 4
Individu n° 1

2 2
Individu n° 2
Individu n° 3
0
-10 -8 -6 -4 -2 0 2 4 6 8 10 -10 -8 -6 -4 -2 2 4 6 8 10
Individu n° 5 -2 Centre de -2 Centre de
Individu n° 10 gravité gravité
-4 -4

-6 -6
Individu n° 6

Individu n° 9
-8 -8

-10 -10

ISIMS 147
 Exercice 1
Déterminer la matrice de corrélation de Bravais-Pearson R(𝑋) :
1 𝑡
𝑅 𝑋 = 𝑍 𝑍
𝑛
Statistiques Math Cpta G° Fi
Statistiques 1,0000 0,7265 -0,8186 -0,6084
Math 0,7265 1,0000 -0,8489 -0,7069
Cpta -0,8186 -0,8489 1,0000 0,9124
G° Fi -0,6084 -0,7069 0,9124 1,0000

Résoudre: det 𝑅 − 𝜆 𝐼 = 0
1 − 𝜆 0,7265 −0,8186 −0,6084
0,7265 1 − 𝜆 −0,8489 −0,7069
𝑅−𝜆𝐼 =
−0,8186 −0,8489 1 − 𝜆 0,9124  1  3.3189
−0,6084 −0,7069 0,9124 1 −𝜆   0.4035
 2

3  0.2508
Résoudre: det 𝑅 − 𝜆 𝐼 = 0

4  0.0268
ISIMS 148
 Exercice 1
Interprétation des valeurs propres 1  3.3189
Exemple :  i 4
 0.829725  82 .97 %
A.C.P. sur données
centrées-réduites

Part de l’information
" variable  variance = 1 initiale restituée par l’axe i

 1  3.3189
S variance   0.4035 i
 2
= 
3  0.2508  i
nombre de variables 
4  0.0268
ISIMS  i  4 149
 Exercice 1
Interprétation des valeurs propres
Valeur Pourcentage
Pourcentage
propre cumulé
1 3.3189 82.9700 82.9700
2 0.4035 10.0900 93.0600
3 0.2508 6.2700 99.3300
4 0.0268 0.6700 100.0000
Histogramme des valeurs propres
3,5
3
2,5
2
1,5
Changement de pente
1
0,5
0
CP1 CP2 CP3 CP4

ISIMS
150
 Exercice 1
Les nouvelles coordonnées des individus

Ind8
Ind6 Ind9 Ind3 Ind5 Ind10 Ind1 Ind7 Ind4 Ind2

-3.00 -2.50 -2.00 -1.50 -1.00 -0.50 0.00 0.50 1.00 1.50 2.00 2.50

ISIMS 151
 Exercice 1

ISIMS 152
 Exercice 1
Cercle de corrélation

Coordonnées - Corrélations

1 2 3 4
Stat - Statistiques 0.86 0.45 0.23 -0.04
Math - Mathématiques 0.90 0.10 -0.42 -0.03
Cpta - Comptabilité -0.98 0.09 -0.06 -0.13
G-Fi - Gestion Financière -0.89 0.43 -0.13 0.08
ISIMS 153
 Exercice 2
Soit le tableau de données suivant :
Informatique Gestion
Noam 4 5
Jean 6 7
Li 8 0

Où les lignes représentent les individus (noms de quelques étudiants)

et les colonnes les variables (notes en informatique et gestion).
Ce tableau de données peut être représenté par la matrice 𝑋 de
données brutes :
4 5
𝑋= 6 7
8 0
1) Calculer la matrice 𝑀 = 𝑋 − 𝑋ത des données centrées et la matrice 𝑍
de données centrées et réduites.

ISIMS 154
 Exercice 2
2) Calculer la matrice 𝐶(𝑋) des covariances de 𝑋 et la matrice 𝑅 𝑋 des
corrélations de 𝑋.
3) Vérifier que 𝜆1 = 10,152 et 𝜆2 = 1,188 sont deux valeurs propres
associées à 𝐶(𝑋). Puis vérifier que les vecteurs unitaires :
−0.407 0.914
𝑉1 = 𝑒𝑡 𝑉2 =
0.914 0.407
sont les vecteurs propres de 𝐶(𝑋) associés à 𝜆1 𝑒𝑡 𝜆2 respectivement.
4) À partir des résultats précédents, déterminer les deux composantes
principales de l’ACP du nuage des individus associé au tableau 𝑋. Pour
chacun de ces axes, préciser le pourcentage de la quantité d’information
projetée sur l’axe considéré, et le pourcentage cumulé.
5) Déterminer la matrice des scores des individus.
6) Calculer la saturation des variables et interpréter le cercle de corrélation.

ISIMS 155
 Exercice 3
Une étude sur des fournisseurs de matériel informatique a conduit à
apprécier le service, la qualité et le prix de quatre fournisseurs. Pour
cela un expert a noté ces entreprises avec des notes allant de -3 à 3.
Les résultats sont consignés ci-dessous :
Ent Service Qualité Prix
E1 -2 3 -1
E2 -1 1 0
E3 2 -1 -1
E4 1 -3 2

1) Calculer le vecteur moyen des individus. Qu'en conclure?

2) Calculer la matrice 𝐶(𝑋) des covariances
3) Dans le but d’appliquer une ACP non normée, nous pouvons vérifier
facilement que C admet une valeur propre nulle (𝜆3 ). On donne aussi
61
𝜆1 = . En déduire 𝜆2 .
8

ISIMS 156
 Exercice 3
4) Préciser le pourcentage de la quantité d’information projetée sur
chaque composante principale, et le pourcentage cumulé. Interpréter
ces résultats.
5) On donne :
0,5 0,65
𝑉1 = −0,8 𝑒𝑡 𝑉2 = 0,11
0,3 −0,75
les vecteurs propres de 𝐶(𝑋) associés à 𝜆1 𝑒𝑡 𝜆2 respectivement.
Déterminer la matrice des scores des individus.
6) Calculer la saturation des variables et interpréter le cercle de
corrélation dans le plan factoriel (CP1, CP2).

ISIMS 157