Mathématiques pour IA

Aissam Hadri

FPO

December 21, 2024

Outils Mathématiques

L’espace Rn :
- Rn : l’ensemble des vecteurs colonnes de n dimensions avec des
composants réels, doté de l’opérateur d’addition composant par
composant :      
x1 y1 x1 + y1
 x2   y2   x2 + y2 
 ..  +  ..  =  .. 
     
. .  . 
xn yn xn + yn
Outils Mathématiques

L’espace Rn :
- Le produit d’un scalaire λ par un vecteur :
   
x1 λx1
x2  λx2 
λ .  =  . 
   
 ..   .. 
xn λxn

- e1 , e2 , . . . , en : la base standard/canonique.
- e et 0 : les vecteurs colonnes de tous ”1” (vecteur unité) et de tous ”0”
(vecteur nul).
Outils Mathématiques

Sous espace de Rn :
▶ Orthant non négatif :
  

 x 1 

 x2 
 

n
R+ =  .  : x 1 , x 2 , . . . , x n ≥ 0
 

  ..  

 
xn
 

▶ Orthant positif :
  

 x1 

x2 
 

Rn++ =  .  : x1 , x2 , . . . , xn > 0
 

 ..  

 
xn
 
Outils Mathématiques

Les segments de Rn :
Les segments de droite fermé [x, y ] et ouvert (x, y ) en Rn , ainsi que leur
définition:
▶ Segment de droite fermé :

[x, y ] = {x + α(y − x) : α ∈ [0, 1]}

▶ Segment de droite ouvert :

(x, y ) = {x + α(y − x) : α ∈ (0, 1)}

Ces ensembles sont définis pour x ̸= y , et (x, x) = ∅.

Outils Mathématiques

Les segments de Rn :
Lorsque x ̸= y , ∆n = 0. Le simplexe unitaire, noté ∆n , est un
sous-ensemble de Rn comprenant tous les vecteurs non négatifs dont la
somme est égale à 1 :

∆n = {x ∈ Rn : x > 0, eT x = 1}.
Outils Mathématiques

Ensemble des matrices réelles

Ensemble des matrices réelles :

Rm×n

▶ Matrice identité de n × n :
In
▶ Matrice de zéros de m × n :

0m×n
Outils Mathématiques

Produit scalaire
Définition Un produit scalaire sur Rn est une fonction
⟨·, ·⟩ : Rn × Rn → R vérifiant les propriétés suivantes :
1. (symétrie) ⟨x, y ⟩ = ⟨y , x⟩ pour tout x, y ∈ Rn .
2. (additivité) ⟨x, y + z⟩ = ⟨x, y ⟩ + ⟨x, z⟩ pour tout x, y , z ∈ Rn .
3. (homogénéité) ⟨λx, y ⟩ = λ⟨x, y ⟩ pour tout λ ∈ R et x, y ∈ Rn .
4. (positivité définitive) ⟨x, x⟩ ≥ 0 pour tout x ∈ Rn , et ⟨x, x⟩ = 0 si et
seulement si x = 0.
Outils Mathématiques

Produit scalaire
Exemples
▶ Le produit scalaire usuel ou produit scalaire canonique, noté
⟨x, y ⟩ = x T y , est donné par :
n
X
⟨x, y ⟩ = xi yi pour tout x, y ∈ Rn .
i=1

▶ Le produit scalaire pondéré, noté ⟨x, y ⟩w , est donné par :

n
X
⟨x, y ⟩w = w i xi yi , où w ∈ Rn++ .
i=1
Outils Mathématiques

Norme sur Rn
Définition. Une norme ∥ · ∥ sur Rn est une fonction ∥ · ∥ : Rn → R qui
satisfait les propriétés suivantes :
▶ (Non-négativité) ∥x∥ ≥ 0 pour tout x ∈ Rn et∥x∥ = 0 si et
seulement si x = 0.
▶ (Homogénéité positive) ∥λx∥ = |λ|∥x∥pour tout x ∈ Rn et λ ∈ R.
▶ (Inégalité triangulaire) ∥x + y ∥ ≤ ∥x∥ + ∥y ∥pour tout x, y ∈ Rn .
Outils Mathématiques

Norme sur Rn
Une manière naturelle de définir une norme sur Rn est de prendre un
produitp interne ⟨·, ·⟩ défini sur Rn , et de définir la norme associée comme
∥x∥ ≡ ⟨x, x⟩ pour tout x ∈ Rn .
▶ La norme associée au produit scalaire est la norme euclidienne ou
l2 -norme: v
u n
uX
∥x∥2 = t xi2 pour tout x ∈ Rn
i=1
Outils Mathématiques

l p Normes Pn
p1
p
La norme lp (p ≥ 1) est définie par ∥x∥p ≡ i=1 |xi | .
▶ La norme l∞ est définie comme : ∥x∥∞ ≡ maxi=1,2,...,n |xi |.
▶ On peut montrer que ∥x∥∞ = limp→∞ ∥x∥p .
Outils Mathématiques

l p Normes
Exemple : l 12 n’est pas une norme. Pourquoi ?
Outils Mathématiques

l p Normes
Exemple : l 12 n’est pas une norme. Pourquoi ?

Réponse P 2
n 1
La norme l 12 est définie par ∥x∥ 12 = i=1 |xi | 2 , ce qui ne satisfait pas
l’inégalité triangulaire (∥x + y ∥ 12 ≤ ∥x∥ 12 + ∥y ∥ 12 ) pour tous x, y ∈ Rn .
Ainsi, l 12 ne constitue pas une norme.
Outils Mathématiques

Cauchy-Schwarz
L’inégalité de Cauchy-Schwarz affirme que, pour tout x et y dans un
espace vectoriel muni d’un produit scalaire, la valeur absolue du produit
scalaire entre x et y est inférieure ou égale au produit des normes de x et
y:
|⟨x, y ⟩| ≤ ∥x∥ · ∥y ∥

C’est une inégalité fondamentale avec de nombreuses applications en

mathématiques et dans divers domaines appliqués.
Normes matricielles

Définition.
Une norme ∥ . ∥ sur Rm×n est une fonction

∥ . ∥ : Rm×n → R

qui satisfait les propriétés suivantes :

▶ (Non-négativité) ∥A∥ ≥ 0 pour tout A ∈ Rm×n , et ∥A∥ = 0 si et
seulement si A = 0.
▶ (Homogénéité positive) ∥λA∥ = |λ|∥A∥ pour tout A ∈ Rm×n et
λ ∈ R.
▶ (Inégalité triangulaire) ∥A + B∥ ≤ ∥A∥ + ∥B∥ pour tout
A, B ∈ Rm×n .
Normes matricielles

Norme spectrale :
La norme induite (2,2) d’une matrice A ∈ Rm×n est la plus grande valeur
singulière de A:
q
∥A∥2 = ∥A∥2,2 = λmax (AT A) ≡ σmax (A)

Cette norme est appelée norme spectrale.

Norme l1 : Lorsque ∥ · ∥a = ∥ · ∥b = ∥ · ∥1 , la norme matricielle (1,1)
induite d’une matrice A ∈ Rm×n est donnée par :
m
X
∥A∥1 = max |Ai,j |
j=1,2,...,n
i=1
Normes matricielles

Norme
l∞ : Lorsque ∥ · ∥a = ∥ · ∥b = ∥ · ∥∞ , la norme matricielle (∞, ∞) induite
d’une matrice A ∈ Rm×n est donnée par :
n
X
∥A∥∞ = max |Ai,j |
i=1,2,...,m
j=1
Outils Mathématiques

▶ Soit A ∈ Rn×n . Alors, un vecteur non nul v ∈ Rn est appelé un

vecteur propre de A s’il existe un λ ∈ C tel que

Av = λv

▶ Le scalaire λ est la valeur propre correspondant au vecteur propre v .

▶ En général, les matrices à valeurs réelles peuvent avoir des valeurs
propres complexes, mais lorsque la matrice est symétrique, les
valeurs propres sont nécessairement réelles.
Outils Mathématiques

Exemple
Supposons que nous ayons la matrice suivante A :
 
3 1
A=
1 3
Outils Mathématiques

Exemple
Supposons que nous ayons la matrice suivante A :
 
3 1
A=
1 3
Pour trouver les valeurs propres de A, nous devons résoudre l’équation
caractéristique det(A − λI ) = 0, où λ est la valeur propre que nous
cherchons, et I est la matrice identité.
Outils Mathématiques

Exemple
L’équation caractéristique est :
 
3−λ 1
det = (3 − λ)2 − 1 = λ2 − 6λ + 8 = 0
1 3−λ
Nous résolvons cette équation quadratique pour λ en utilisant la formule
quadratique :
p
−(−6) ± (−6)2 − 4 × 1 × 8
λ=
2×1
Outils Mathématiques

Exemple
Simplifiant, nous obtenons :

λ1 = 4
λ2 = 2
Donc, les valeurs propres de la matrice A sont λ1 = 4 et λ2 = 2.
Outils Mathématiques

valeur et vecteur propre

▶ Les valeurs propres d’une matrice symétrique n × n A sont notées
comme suit :
λ1 (A) ≥ λ2 (A) ≥ . . . ≥ λn (A)

▶ La plus grande valeur propre est également notée λmax (A)

(= λ1 (A)),
▶ La plus petite valeur propre est également notée λmin (A) (= λn (A)).
Outils Mathématiques

Décomposition
Théorème : Soit A ∈ Rn×n une matrice symétrique n × n. Alors, il
existe une matrice orthogonale U ∈ Rn×n (U T U = UU T = I ) et une
matrice diagonale D = diag(λ1 , λ2 , . . . , λn ) telles que :

U T AU = D.

Définition
▶ Les colonnes de la matrice U constituent une base orthogonale
comprenant les vecteurs propres de A, et les éléments diagonaux de
D sont les valeurs propres correspondantes.
▶ Un résultat direct est que Tr(A) = ni=1 λi (A) et
P
Qn
det(A) = i=1 λi (A).
Introduction

▶ La décomposition en valeurs singulières (SVD) est une méthode

mathématique fondamentale.
▶ Elle est utilisée en traitement des données, apprentissage
automatique, et compression d’images.
▶ Permet de factoriser une matrice A en trois composantes principales.
Définition mathématique

SVD de la matrice A:
A = UΣV T

▶ A: matrice m × n
▶ U: matrice m × m, colonnes orthogonales (vecteurs singuliers à
gauche)
▶ Σ: matrice diagonale m × n, valeurs singulières
▶ V T : matrice n × n, colonnes orthogonales (vecteurs singuliers à
droite)
Propriétés fondamentales

▶ Les valeurs singulières sont les racines carrées des valeurs propres de
AT A.
▶ Le rang de A correspond au nombre de valeurs singulières non nulles.
▶ SVD permet l’approximation de matrices en réduisant le nombre de
dimensions.
Exemple simple : matrice carrée
Considérons une matrice A:
 
3 1
A=
1 3

▶ Étape 1 : Calculer AT A:
 T    
3 1 3 1 10 6
AT A = =
1 3 1 3 6 10
▶ Étape 2 : Trouver les valeurs propres de AT A:
 
10 − λ 6
det(AT A − λI ) = det =0
6 10 − λ
Résolvons pour λ:
(10 − λ)2 − 36 = 0 =⇒ λ1 = 16, λ2 = 4
▶ Étape 3 : Calculer les vecteurs propres correspondants pour λ1 et λ2 .
√
▶ Étape 4 : Les valeurs singulières sont σ1 = λ1 = 4 et
√
σ2 = λ2 = 2.
Résultat final :
A = UΣV T
Exemple simple : matrice rectangulaire (3x2)
Considérons une matrice A:
 
1 2
A = 3 4
5 6

▶ Étape 1 : Calculer AT A:
 
  1 2  
1 3 5  35 44
AT A = 3 4 =
2 4 6 44 56
5 6

▶ Étape 2 : Trouver les valeurs propres et vecteurs propres de AT A.

▶ Étape 3 : Trouver les valeurs propres et vecteurs propres de AAT .
▶ Étape 4 : Les valeurs singulières sont les racines carrées des valeurs
propres.
Résultat final :
A = UΣV T
Algorithme pour calculer la SVD

Étapes principales :
1. Calculer AT A et AAT .
2. Trouver les valeurs propres et vecteurs propres de AT A pour obtenir
V.
3. Trouver les valeurs propres et vecteurs propres de AAT pour obtenir
U.
4. Les valeurs propres λ de AT A ou AAT donnent les valeurs
singulières σ : √
σ= λ
5. Construire Σ comme une matrice diagonale contenant les σ.
6. Vérifier : A = UΣV T .
Remarque : Des algorithmes numériques comme l’algorithme QR sont
souvent utilisés pour les grandes matrices.
Applications pratiques
▶ Compression d’images : Réduire la taille des fichiers sans perte
significative de qualité.

▶ Réduction de dimensions : Utilisée dans PCA (analyse en

composantes principales).
▶ Systèmes de recommandation : Détection des corrélations
implicites entre utilisateurs et produits.
▶ Filtrage de bruit : Nettoyer les données bruitées en supprimant les
composantes faibles.
Outils Mathématiques

Définition
Étant donné un ensemble U contenu dans Rn , un point c appartenant à
U est appelé un point intérieur de U s’il existe r > 0 tel que B(c, r ) ⊆ U.
L’ensemble de tous les points intérieurs d’un ensemble donné U est
appelé l’intérieur de l’ensemble et est noté int(U) :

int(U) = {x ∈ U : B(x, r ) ⊆ U pour un certain r > 0}

Outils Mathématiques

Concepts topologiques de base :

▶ La boule ouverte de centre c dans Rn et de rayon r est définie par :

B(c, r ) = {x : ∥x − c∥ < r }

▶ La boule fermée de centre c et de rayon r est définie par :

B[c, r ] = {x : ∥x − c∥ ≤ r }
Outils Mathématiques

Ensemble compacte
Définitions :
- Un ensemble U contenu dans Rn est appelé borné s’il existe un M > 0
tel que U soit contenu dans B(0, M).
- Un ensemble U contenu dans Rn est appelé compact s’il est fermé et
borné.
Exemples d’ensembles compacts : boules fermées, simplexe unité,
segments de droite fermés.
Outils Mathématiques

Dérivées directionnelles
Définitions :
▶ Soit f une fonction définie sur un ensemble S contenu dans Rn . Soit
x ∈ int(S) et d ∈ Rn . Si la limite

f (x + td) − f (x)
lim+
t→0 t
existe, alors elle est appelée la dérivée directionnelle de f en x dans
la direction d et est notée f ′ (x; d).
▶ Pour tout i = 1, 2, . . . , n, si la limite

f (x + tei ) − f (x)
lim
t→0 t
existe, alors sa valeur est appelée la dérivée partielle par rapport à xi
∂f
et est notée ∂x i
(x).
Outils Mathématiques

Dérivées directionnelles
▶ Si toutes les dérivées partielles d’une fonction f existent en un point
x ∈ Rn , alors le gradient de f en x est
 ∂f
(x)

∂x1
 ∂f (x)
 ∂x2
∇f (x) =  . 

 .. 
∂f
∂xn (x)
Outils Mathématiques

Differentiabilité au sens de Gâteaux

Une fonction f définie sur un ensemble ouvert U de Rn est appelée
continûment différentiable sur U si toutes les dérivées partielles existent
et sont continues sur U. Dans ce cas, f ′ (x; d) = ∇f (x)T d,
x ∈ U, d ∈ Rn .

Proposition
Soit f : U → R définie sur un ensemble ouvert U ⊆ Rn . Supposons que f
soit continûment différentiable sur U. Alors,

f (x + d) − f (x) − ∇f (x)T d
lim =0
d→0 ∥d∥
pour tout x ∈ U.
Outils Mathématiques

Différentiabilité au sens de Gâteaux

Une autre façon d’écrire le résultat ci-dessus est la suivante :

f (y ) = f (x) + ∇f (x)T (y − x) + o(∥y − x∥)

o(t)
où o(·) : Rn+ → R est une fonction unidimensionnelle telle que t →0
lorsque t → 0+ .
Outils Mathématiques

Dérivée seconde
∂f
▶ Les dérivées partielles ∂x
i
sont elles-mêmes des fonctions réelles qui
peuvent être partiellement dérivées. Les dérivées partielles d’ordre (i,
j) de f en x ∈ U (si elles existent) sont définies par

∂2f
 
∂ ∂f
(x) = (x)
∂xi ∂xj ∂xj ∂xi
▶ Un fonction f définie sur un ensemble ouvert U ⊂ Rn est dite deux
fois continûment différentiable sur U si toutes les dérivées partielles
d’ordre deux existent et sont continues sur U. Dans ce cas, pour
tout i ̸= j et tout x ∈ U :

∂2f ∂2f
(x) = (x)
∂xi ∂xj ∂xj ∂xi
Outils Mathématiques

La matrice Hessienne
Le hessien de f en un point x ∈ U est la matrice n × n définie par :
 2
∂2f ∂2f

∂ f
2 ∂x1 ∂x2 · · · ∂x1 ∂xn
 ∂x 1
 ∂2f ∂2f ∂2f 

 ∂x ∂x ∂x22
· · · ∂x2 ∂xn 
∇2 f (x) =  2. 1 .. .. .. 
 . .
 . . . 

∂2f ∂2f ∂2f
∂xn ∂x1 ∂xn ∂x2 · · · ∂x 2 n

Pour les fonctions deux fois continûment différentiables, le hessien est

une matrice symétrique.
Outils Mathématiques

Théorème d’approximation linéaire

Soit f : U → R définie sur un ensemble ouvert U ⊂ Rn . Supposons que f
est deux fois continûment différentiable sur U. Soit x ∈ U et r > 0 tel
que B(x, r ) ⊂ U. Alors, pour tout y ∈ B(x, r ), il existe ξ dans le
segment [x, y ] tel que :

1
f (y ) = f (x) + ∇f (x)T (y − x) + (y − x)T ∇2 f (ξ)(y − x)
2