Chapitre 2 — Outils
mathématiques pour l’intelligence
artificielle
0.1 Introduction
L’intelligence artificielle moderne repose fortement sur une variété d’outils mathé-
matiques. Ces outils permettent de représenter les données, de concevoir les modèles,
d’optimiser leurs performances et d’interpréter leurs résultats.
0.2 Algèbre linéaire
L’algèbre linéaire fournit un cadre pour représenter les données sous forme de vecteurs
ou de matrices. Par exemple, un jeu de données contenant m échantillons et n caractéris-
tiques peut être représenté par une matrice X ∈ Rm×n .
0.2.1 Rappels et compléments en algèbre linéaire
0.3 Espace vectoriel normé Rn
On considérera toujours l’espace des vecteurs Rn muni de sa structure d’espace vecto-
riel normé de dimension n :
— Pour tous x, y ∈ Rn , la somme des vecteurs x et y est notée :
x + y = [xi + yi ]1≤i≤n
— Pour tout λ ∈ R, on définit la multiplication scalaire par :
λx := λ · x = [λxi ]1≤i≤n
— La norme euclidienne ∥ · ∥ sur Rn est définie, pour tout vecteur x ∈ Rn , par :
v
u n
uX
∥x∥ := t x2 i
i=1
On dira que x ∈ Rn est unitaire si ∥x∥ = 1.
1
— Pour tous vecteurs x, y ∈ Rn , le produit scalaire dérivé de la norme euclidienne est
noté x⊤ y et défini par :
n
⊤
X
x y := xi y i
i=1
Il s’agit d’une forme bilinéaire symétrique définie positive. En particulier, on a
x⊤ y = y ⊤ x.
0.3.1 Famille génératrice et sous-espace engendré
— There exists a libre family and a génératrice of Rn of size n. For example, any
vecteur x of Rn can s’écrire as :
n
X
x= xi ei
i=1
1 eposition 0 · · · 0]⊤ is the i-ème vecteur of the base
where ei = [0 · · · 0 |{z}
i
canonique of Rn .
Définition 0.1 (Sous-espace engendré). Soient x1 , . . . , xp des vecteurs de Rn . Le sous-
espace engendré par ces vecteurs est défini comme le sous-espace vectoriel :
( p
X
)
vect(x1 , . . . , xp ) := x = α i xi αi ∈ R
i=1
Ce sous-espace est de dimension au plus min(n, p).
Définition 0.2 (Sous-espaces matriciels). Soit une matrice A ∈ Rm×n . On définit deux
sous-espaces fondamentaux :
— Le noyau (ou nucleus ou null space en anglais) de A est défini par :
n o
ker(A) := x ∈ Rn Ax = 0m
— L’image (ou range space) de A est définie par :
n o
Im(A) := y ∈ Rm ∃x ∈ Rn , y = Ax
La dimension de l’image est appelée le rang de A, noté rang(A), et vérifie :
rang(A) ≤ min(m, n)
Théorème 0.1 (Théorème du rang). Pour toute matrice A ∈ Rm×n , on a :
dim(ker(A)) + rang(A) = n
2
0.3.2 Décomposition en valeurs singulières (SVD)
La décomposition en valeurs singulières (SVD) d’une matrice est une méthode cen-
trale en algèbre linéaire. Elle est parfois qualifiée de « théorème fondamental de l’algèbre
linéaire » (Strang, 1993), car elle peut s’appliquer à toute matrice, qu’elle soit carrée ou
non, et elle existe toujours.
De plus, comme nous allons le voir dans ce qui suit, la SVD d’une matrice A, qui
représente une application linéaire Φ : V → W , permet de quantifier le changement de
géométrie entre les deux espaces vectoriels sous-jacents.
Pour un aperçu plus approfondi des fondements mathématiques de la SVD, on pourra
se référer aux travaux de Kalman (1996) et Roy et Banerjee (2014).
Théorème 0.2 (Décomposition en valeurs singulières (SVD)). Soit A ∈ Rm×n une ma-
trice rectangulaire de rang r ∈ [0, min(m, n)]. La décomposition en valeurs singulières de
A est une factorisation de la forme :
A = U ΣV ⊤
où :
— U ∈ Rm×m est une matrice orthogonale dont les colonnes sont les vecteurs ui ,
i = 1, . . . , m,
— V ∈ Rn×n est une matrice orthogonale dont les colonnes sont les vecteurs vj ,
j = 1, . . . , n,
— Σ est une matrice m × n diagonale, telle que Σii = σi ≥ 0 et Σij = 0 pour i ̸= j.
