Chapitre 2 — Outils
mathématiques pour l’intelligence
artificielle
0.1 Introduction
L’intelligence artificielle moderne repose fortement sur une variété d’outils mathé-
matiques. Ces outils permettent de représenter les données, de concevoir les modèles,
d’optimiser leurs performances et d’interpréter leurs résultats.
0.2 Algèbre linéaire
L’algèbre linéaire fournit un cadre pour représenter les données sous forme de vecteurs
ou de matrices. Par exemple, un jeu de données contenant m échantillons et n caractéris-
tiques peut être représenté par une matrice X ∈ Rm×n .
0.2.1 Rappels et compléments en algèbre linéaire
0.3 Espace vectoriel normé Rn
On considérera toujours l’espace des vecteurs Rn muni de sa structure d’espace vecto-
riel normé de dimension n :
— Pour tous x, y ∈ Rn , la somme des vecteurs x et y est notée :
x + y = [xi + yi ]1≤i≤n
— Pour tout λ ∈ R, on définit la multiplication scalaire par :
λx := λ · x = [λxi ]1≤i≤n
— La norme euclidienne ∥ · ∥ sur Rn est définie, pour tout vecteur x ∈ Rn , par :
v
u n
uX
∥x∥ := t x2 i
i=1
On dira que x ∈ Rn est unitaire si ∥x∥ = 1.
1
— Pour tous vecteurs x, y ∈ Rn , le produit scalaire dérivé de la norme euclidienne est
noté x⊤ y et défini par :
n
⊤
X
x y := xi y i
i=1
Il s’agit d’une forme bilinéaire symétrique définie positive. En particulier, on a
x⊤ y = y ⊤ x.
0.3.1 Famille génératrice et sous-espace engendré
— There exists a libre family and a génératrice of Rn of size n. par example, any
vecteur x of Rn can s’écrire as :
n
X
x= xi ei
i=1
1 eposition 0 · · · 0]⊤ is the i-ème vecteur of the base
where ei = [0 · · · 0 |{z}
i
canonique of Rn .
Définition 0.1 (Sous-espace engendré). Soient x1 , . . . , xp des vecteurs de Rn . Le sous-
espace engendré par ces vecteurs est défini comme le sous-espace vectoriel :
( p )
vect(x1 , . . . , xp ) := x =
X
α i xi αi ∈ R
i=1
Ce sous-espace est de dimension au plus min(n, p).
Définition 0.2 (Sous-espaces matriciels). Soit une matrice A ∈ Rm×n . On définit deux
sous-espaces fondamentaux :
— Le noyau (ou nucleus ou null space en anglais) de A est défini par :
n o
ker(A) := x ∈ Rn Ax = 0m
— L’image (ou range space) de A est définie par :
n o
Im(A) := y ∈ Rm ∃x ∈ Rn , y = Ax
La dimension de l’image est appelée le rang de A, noté rang(A), et vérifie :
rang(A) ≤ min(m, n)
Théorème 0.1 (Théorème du rang). Pour toute matrice A ∈ Rm×n , on a :
dim(ker(A)) + rang(A) = n
2
Définition 0.3 (Normes matricielles). On définit sur Rm×n deux normes importantes :
— La norme d’opérateur :
∥Ax∥
∥A∥ := max = max ∥Ax∥
n
x∈R , x̸=0 ∥x∥ ∥x∥=1
— La norme de Frobenius :
s X X
∥A∥F := A2ij
1≤i≤m 1≤j≤n
Définition 0.4 (Matrice symétrique). Une matrice carrée A ∈ Rn×n est dite symétrique
si :
A⊤ = A
Définition 0.5 (Matrice inversible). Une matrice carrée A ∈ Rn×n est dite inversible
s’il existe une matrice B ∈ Rn×n telle que :
AB = BA = In
où In désigne la matrice identité de Rn×n .
Si elle existe, la matrice B est unique et notée A−1 .
Définition 0.6 (Matrice (semi-)définie positive). Une matrice carrée A ∈ Rn×n est dite
semi-définie positive si elle est symétrique et vérifie :
∀x ∈ Rn , x⊤ Ax ≥ 0
Elle est dite d´efinie positive si elle est semi-d´efinie positive et que xTAx > 0 pour tout
vecteur x non nul.
Définition 0.7 (Matrice orthogonale). Une matrice carrée P ∈ Rn×n est dite orthogo-
nale si :
P ⊤ = P −1
Par extension, on dira que Q ∈ Rm×n avec m ≤ n est orthogonale si :
QQ⊤ = Im
Cela signifie que les colonnes de Q forment une famille orthonormée dans Rm .
De plus, si Q ∈ Rn×n est orthogonale, alors Q⊤ est également orthogonale.
3
Lemme 0.1. Soit A ∈ Rm×n , et soient U ∈ Rm×m et V ∈ Rn×n deux matrices orthogo-
nales. Alors :
∥A∥ = ∥U A∥ = ∥AV ∥ et ∥A∥F = ∥U A∥F = ∥AV ∥F
Autrement dit, la multiplication à gauche ou à droite par une matrice orthogonale ne
modifie ni la norme d’opérateur, ni la norme de Frobenius.
