Cours ANAD 2CS SIQ

N . Bessah

8 octobre 2022
Table des matières

1 Rappels : Calcul matriciel et éléments de statistique 2

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Calcul matriciel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Définitions et opérations élémentaires sur les matrices . . . . . . . . . . . 2
1.2.2 Longueur, Produit scalaire, forme quadratique . . . . . . . . . . . . . . . 3
1.2.3 Indépendance linéaire et rang d’une matrice . . . . . . . . . . . . . . . . 4
1.2.4 Matrice inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.5 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.6 Vecteurs et valeurs propres . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Éléments de statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.2 Représentations graphiques . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Introduction à l’analyse multivariée . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.1 Description élémentaire de variables quantitatives . . . . . . . . . . . . . 6
1.4.2 Lien entre variables quantitatives . . . . . . . . . . . . . . . . . . . . . . 7
1.4.3 Variables centrées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1
Chapitre 1

Rappels : Calcul matriciel et éléments

de statistique

1.1 Introduction
L’Analyse de données ou analyse statistique multivariée est un ensemble de méthodes
permettant de décrire, d’explorer et d’interpréter les données. Dans ce chapitre, nous rappel-
lerons quelques notions indispensables d’algèbre, de statistique uni-variée et une description
multidimensionnelle des paramètres : moyenne, covariance et corrélation.

1.2 Calcul matriciel

1.2.1 Définitions et opérations élémentaires sur les matrices
Une matrice est un tableau rectangulaire dont les éléments sont rangés en lignes et en
colonnes et on note :
X(n,p) = (xij )i=1,n
j=1,p

— Une matrice est dite nulle si tous éléments sont nuls ;

— Lorsque n = p la matrice est dite carrée ;
— une matrice (n, 1) est dite vecteur colonne ;,
— une matrice (1, n) est dite vecteur ligne.

0 t
Transposition La transposée de la matrice X(n,p) notée par X(p,n) ou X(p,n) est la matrice
obtenue en échangeant le rôle des lignes et des colonnes.
 
1 2 !
 t 1 3 5
Exemple : A = 3 4 A =

2 4 6
5 6

Propriétés
t
— (X t ) = X ;
— (X + Y )t = X t + Y t ;
— (XY )t = Y t X t ;
— (XY Z)t = Z t Y t X t ;
— La transposée d’un vecteur ligne est un vecteur colonne et vice versa.

2
Symétrie Une matrice est dite symétrique si elle est égale à sa transposée. i.e. (xij ) = (xji )
pour i = 1, . . . , n et j = 1, . . . , p
— Une matrice symétrique est nécessairement carrée ;
— X est une matrice de dimensions (n, p) alors XX t et X t X sont des matrices symétriques.

Exemple de matrices symétriques

— la matrice unité I contient des 1 dans la diagonale principale, et des 0 ailleurs ;
— la matrice scalaire S, une valeur a dans la diagonale principale, et des 0 ailleurs ;
— la matrice diagonale contient des valeurs quelconques dans la diagonale principale, et des
0 ailleurs.

Opérations sur les matrices

— Somme de matrices de même dimension : Z(n,p) = X(n,p) + Y(n,p) tel que zij = xij + yij
— Multiplication par un scalaire λX = (λxij )i=1,...,n
j=1,...,p
— Multiplication matricielle : T(n,m) = X(n,p) .Y(p,m) ; la matrice produit T = (tij ) i=1,...,n est
j=1,...,m
p
∀i, j
P
telle que tij = xik .ykj
k
- Le produit de deux matrices diagonales est une matrice diagonale.

Propriétés
— X + Y = Y + X; (X + Y ) + Z = X + (Y + Z) ;
— XY 6= Y X en général ; (XY ) Z = X (Y Z) ;
— X (Y + Z) = XY + XZ ;
— λ (X + Y ) = λX + λY où λ est un scalaire.

1.2.2 Longueur, Produit scalaire, forme quadratique

Soient x et y deux vecteurs colonnes de Rn où xt = (x1 , . . . , xn ) et y t = (y1 , . . . , yn )
n
— Le produit scalaire des vecteurs x et y est xt y =
P
xk y k ,
k
hx, yi
• L’angle θ entre les deux vecteurs est tel que cos θ =
kxk kyk
— Orthogonalité de x et y a lieu si et seulement si xt y = 0 ou cos (x, y) = 0 ;
1/2
— Longueur ou norme euclidienne de x est kxk = (xt x) ;
— Forme quadratique : Soit A = (aij ) i=1,...,n une matrice carrée symétrique
j=1,...,n
n X
n
xt Ax =
X
aij xi xj
i j

est appelée fonction réelle quadratique

√ ! des!xi ;
3 − 2 x1 √
• Exemple (x1 , x2 ) √ = 3x21 + 2x22 − 2 2x1 x2
− 2 2 x2
• Une forme quadratique est dite
- définie positive si xt .Ax > 0 pour tout x non nul,
- Semi-définie positive si xt .Ax ≥ 0 pour tout x ( il peut exister un vecteur x non
nul tel xt .Ax = 0)
n P
n
— Dérivée d’une forme quadratique : f (x) = f (x1 , . . . , xn ) = xt Ax =
P
aij xi xj
i j

3
 Le gradient de f est
!
δf δf δf
= ,...,
δx δx1 δxn
= 2Ax, car A est symétrique

Appliquons à l’exemple précédent : Nous avons :

√
f (x) = f (x1 , x2 ) = 3x21 + 2x22 − 2 2x1 x2
!
δf δf δf
= ,
δx δx1 δx2
 √ √ 
= 6x1 − 2 2x2 , 4x2 − 2 2x1
 √ √ 
= 2 3x1 − 2x2 , 2x2 − 2x1
√ ! !
3
√ − 2 x 1
=2
− 2 2 x2

1.2.3 Indépendance linéaire et rang d’une matrice

Soient x1 . . . , xp des vecteurs colonnes de dimension n et c1 . . . cp des coefficients réels.
1. Les vecteurs x1 . . . xp sont linéairement indépendants si :
p
P
xi ci = 0 =⇒ c1 = 0, c2 = 0 . . . cp = 0
i
2. Rang d’une matrice X(n,p) noté Rg (X) est égal au plus grand nombre de vecteurs lignes
(ou colonnes) linéairement indépendants.
— Si Rg (X) est égal à la plus petite dimension de X la matrice est dite de plein rang ;
• Une matrice carrée d’ordre n est de plein rang si Rg (X) = n
• Le rang d’une matrice nulle est égale à 0
— Rg (AB) ≤ min (Rg (A) , Rg (B)) ;
— Rg (X) = Rg (X t ) = Rg (X t X) = Rg (XX t ) ;
— Rg (X) est la dimension du plus grand déterminant non nul extrait de X.

1.2.4 Matrice inverse

Soit A une matrice carrée d’ordre p, on dit qu’elle est non singulière ou (régulière) si elle est
de plein rang i.e. Rg (A) = p. Dans ce cas, il existe une matrice B telle que AB = BA = I, B
est dite matrice inverse de A.

1.2.5 Propriétés
— l’inverse de A s’il existe est unique ;
−1
— (A−1 ) = A ;
−1 t
— (At ) = (A−1 ) ;
— Det (A) 6= 0 ⇐⇒ A est régulière ;
— Si A et B régulières de même dimension (AB)−1 = B −1 A−1 ;
— Une matrice diagonale est non singulière si tous ses éléments sont non nuls ;
— La matrice inverse a pour éléments les inverses des élément diagonaux.

4
1.2.6 Vecteurs et valeurs propres
Soit A une matrice carrée d’ordre p ; on appelle valeur propre de A tout scalaire λ pour
lequel il existe un vecteur non nul x d’ordre (p, 1) vérifiant Ax = λx. Le vecteur colonne x est
appelé vecteur propre de A associé à λ.
L’équation caractéristique de la matrice A : Ax = λx ⇐⇒ (A − λI) x = 0 ⇐⇒ les
colonnes de (A − λI) sont linéairement dépendantes ⇒ det (A − λI) = 0
Plus généralement, l’équation caractéristique est un polynôme de degré p donc A possède p
valeurs propres (pas nécessairement distinctes).
 
1 3 0
Exemple 3 −2 −1
 

0 −1 1
Le polynôme caractéristique |A − λI| = −λ3 + 13λ − 12. Les racines sont 1, −3, −4 ; les
vecteurs propres associés sont (1, 0, 3), (3, 2, −1), (−3, 5, 1)
— la somme des valeurs propres est égale à la trace de la matrice (somme des termes
diagonaux),
— Le produit des valeurs propres est le déterminant de la matrice A,
— Si A est une matrice symétrique, deux vecteurs propres quelconques correspondants à
des valeurs propres distinctes sont orthogonaux.
— Toutes les valeurs propres d’une matrice symétrique réelle sont réelles

1.3 Éléments de statistique

Une variable décrit un caractère que possède un individu, elle peut être quantitative ou
qualitative

1.3.1 Définitions
— Une variable quantitative ou numérique qui prend ses valeurs dans un ensemble fini ou
dénombrable, est dite discrète ; lorsque celle ci prend ses valeurs dans un intervalle de R
elle est dite continue.
— Une variable qualitative décrit un caractère appelé catégorie ou modalité ( qui n’est pas
une valeur numérique).
• Dans le cas où ces modalités sont naturellement ordonnées la variable est dite
ordinale (par exemple, la mention au bac ou une classe d’age),
• Dans le cas contraire (par exemple, la profession dans une population de personnes
actives ou la situation familiale, couleur des yeux, ) la variable est dite nominale.
— Une variable statistique quantitative peut être résumée par des paramètres de tendance
centrale (moyenne, mode, médiane,..) ou de dispersion (variance écart type, étendue,
écart inter-quantiles,..)

1.3.2 Représentations graphiques

Les représentations graphiques d’une variable continue sont (histogramme, boite à mous-
tache,.. ). Dans le cas qualitatif, les diagrammes en colonnes, en barre, en secteurs, etc...décrivent
la répartition en effectifs ou des fréquences des individus par rapport à chaque modalité ( ou
classe).

5
 Figure 1.1 – Boxplot

Box plots (Boîtes à moustaches)

Une boite à moustache ou boxplot est un diagramme comme sur la figure 1.1 construit à
partir de cinq paramètres statistiques, d’une série x1 , . . . , xn , qui sont A, Q1 , M ed, Q3 , B, où
— Q1 et Q3 sont respectivement le premier et le troisième quartile.
— M ed est la médiane de l’échantillon.
— A et B représentent les limites inférieure et supérieure de l’intervalle en dehors duquel
les données sont considérées comme aberrantes (on les appelle aussi atypiques ou des
outliers). Ils sont déterminés par les formules suivantes :
• A = min {xi : xi ≥ Q1 − 1.5(Q3 − Q1)}
• B = max {xi : xi ≤ Q3 + 1.5(Q3 − Q1 )}

Remarques
— Les boxplots sont pratiques pour comparer deux ou plusieurs séries statistiques ;
— On peut représenter le boxplot verticalement.

1.4 Introduction à l’analyse multivariée

Contrairement à la statistique univariée où les variables sont analysées une à une, l’analyse
statistique multivariée ou analyse de données, traite et produit une représentation graphique
de l’ensemble des variables à la fois .

1.4.1 Description élémentaire de variables quantitatives

Soit X(n,p) un tableau de données quantitatives, X = (xij )i=1,...,n
j=1,...,p
 
x11 ... x1p
 x21 ...
 

 
X=
 ... 

 . .. . .
 .. . . . . .. ..


 
xn1 ... xnp

Espace ou nuage des individus Pour tout i = 1, . . . , n, le vecteur ligne

6
  
xi1
xi2 
 
xi = 
 .. 

 . 
xip
représente l’ensemble des p valeurs prises par le ième individu. xi est un vecteur de Rp .

Espace ou nuage des variables De même, on introduit l’espace des variables Rn . Pour tout
j = 1, . . . , p,  
x1j
 x2j 
 
xj = 
 .. 

 . 
xnj

Description des variables

Les éléments ou paramètres descriptifs de chaque variable sont :
le minimum mj = min xij
i=1,...n
maximum Mj = max xij
i=1,...n
l’étendue ej = Mj − mj
n n
la moyenne x̄j =
P P
pi xij où pi est le poids de l’individu i et pi = 1
i ki
n 2 n 2
la variance var (xj ) = pi (xij − x̄j ) = pi x2ij − (x̄j )
P P
q i i
l’écart type σj = var (xj )

1.4.2 Lien entre variables quantitatives

 
A un couple de variables quantitatives xj , xk on associe :

Covariance n
    
j k
pi xij − x̄j xik − x̄k
X
Cov x , x = (1.1)
i

Corrélation  
cov xj , xk
ρjk = (1.2)
σj σk
Le coefficient de corrélation varie entre −1 et 1 et donne une mesure de la relation linéaire
entre xj et xk .

1.4.3 Variables centrées

 
1
1
 
Posons x̃j = xj − x̄j 1n , où 1n = .
. est un vecteur de Rn . Ainsi, pour tout i = 1, . . . , n
.
1
x̃ij = xij − x̄j

7
 x̃j est une variable centrée. La matrice de toutes les variables centrée est :

x11 − x¯1 x21 − x¯2 . . . x1n − x¯n

 

 x21 − x¯1 x22 − x¯2 . . . x2n − x¯n 

 
1 t

...

X̃ = X − 1n 1n X = 
 

n  .
.. .
.. .. 

 ... . 

¯ ¯
xn1 − x xn2 − x . . .
1 2 xnn − x¯n

Nous avons alors, en fonction des variables centrées :

a) Variance et Covariance
  n
var x̃j = pi (x̃ij )2
X

i
D E
= x̃j , x̃j
Dp
2
= x̃j
Dp

t
D E
où xj , xk = (xj ) Dp xk et la matrice
Dp
 
p1 . . . 0

 0 p 2


Dp =  ..

.. ..  est appelée métrique des poids.
. . . 
0 pn
  n
j k
pi x̃ji x̃ki
X
cov x̃ , x̃ =
i
D E
= x̃j , x̃k
Dp

b) Corrélation
 
cov xj , xk
ρjk =
σj σk
D E
x̃j , x̃k
Dp
=
kx̃j k k
Dp kx̃ kDp

Cette corrélation s’interprète comme le cosinus de l’angle des deux vecteurs x̃j et x̃k
dans l’espace des variables.

Remarques
1. Lorsque les poids sont égaux, alors pi = 1/n, pour tout i = 1, . . . , n
2. Dans le cas où les variables sont centrées, nous avons une interprétation géométrique des
paramètres :
• La variance d’une variable centrée est égale à sa norme
• La covariance entre deux variables est un produit scalaire
• La corrélation est le cos de l’angle entre deux variables

8
Matrice des variances covariances Nous avons défini précédemment les variances, cova-
riance et corrélation entre deux variables ; au tableau X des p variables, on associe les matrices
suivantes :
a) Variances -Covariances   
V = cov xj , xk j=1,...,p
k=1,...,p
qui s’écrit aussi,
V = X̃ t Dp X̃
b) Matrice des corrélations   
R = corr xj , xk j=1,...,p
k=1,...,p

L’écriture matricielle est

R = D−1/2 V D−1/2
où  √ 
1/ σ1 ... 0
√
 0 1/ σ2
!
1
 
D−1/2

=
 .. ... ..  = Diag √
 . ... .  σj
√
0 1/ σp

Centre de gravité Le centre de gravité du nuage de points x1 , x2 , . . . , xn de Rp est le vecteur

des moyennes des variables  
x̄ = x̄1 , x̄2 , . . . , x̄p

Ecriture matricielle Dans le cas où les poids sont égaux :

1 t
x̄ = X 1n
n
 
1
1
 
où le vecteur 1n = .
.
.
1

Inertie Inertie du nuage de point par rapport au centre de gravité est la somme pondérées
des distances au centre de gravité i.e.
n
pi d2 (xi , x̄)
X
I= (1.3)
i=1
or p
2 2
x˜ij 2
X
d (xi , x̄) = kxi − x̄k = (1.4)
j=1

D’où
n p
x˜ij 2
X X
I= pi
i=1 j=1
p n
pi x˜ij 2
XX
=
j=1 i=1
p  
var xj = trace (V )
X
=
j=1

9
Bibliographie

[1] Frederik Michel Dekking, Cornelis Kraaikamp, Hendrik Paul Lopuhaä, and Ludolf Erwin
Meester. A Modern Introduction to Probability and Statistics : Understanding why and how.
Springer Science & Business Media, 2005.
[2] George H Dunteman. Principal components analysis. Number 69. Sage, 1989.
[3] Brigitte Escofier and Jérôme Pagès. Analyses factorielles simples et multiples : objectifs,
méthodes et interprétation. Dunod, 2008.
[4] Brian Everitt, Graham Dunn, and Graham Dunn. Applied multivariate data analysis. 2001.
[5] Michael Greenacre and Jorg Blasius. Multiple correspondence analysis and related methods.
CRC press, 2006.
[6] Michael J Greenacre. Theory and applications of correspondence analysis. 1984.
[7] Wolfgang Härdle and Léopold Simar. Applied multivariate statistical analysis, volume 22007.
Springer, 2007.
[8] François Husson, Sébastien Lê, and Jérôme Pagès. Exploratory multivariate analysis by
example using R. CRC press, 2017.
[9] Richard Arnold Johnson, Dean W Wichern, et al. Applied multivariate statistical analysis,
volume 5. Prentice hall Upper Saddle River, NJ, 2002.
[10] Ian Jolliffe. Principal component analysis. In International encyclopedia of statistical
science, pages 1094–1096. Springer, 2011.
[11] Ludovic Lebart, Alain Morineau, and Marie Piron. Statistique exploratoire multidimension-
nelle, volume 3. Dunod Paris, 1995.
[12] Jean-Pierre Nakache and Josiane Confais. Approche pragmatique de la classification : arbres
hiérarchiques, partitionnements. Editions Technip, 2004.
[13] Gilbert Saporta. Probabilités, analyse des données et statistique. Editions Technip, 2006.
[14] Gilbert Strang. Linear algebra and its applications. 2006.
[15] Stéphane Tufféry. Data mining and statistics for decision making. John Wiley & Sons,
2011.

10