Orthogonalité Projections Matrices orthogonales et bases orthonormales

10. Orthogonalité, projections,

bases orthonormales

MTH1008

Sébastien Le Digabel
Polytechnique Montréal

A2024
2024-11-11

v3

MTH1008: algèbre linéaire 1/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Plan

1. Orthogonalité

2. Projections

3. Matrices orthogonales et bases orthonormales

MTH1008: algèbre linéaire 2/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Liens avec le livre et exercices suggérés

6.1 Orthogonalité 1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23,

24, 27, 29, 30, 31

6.2 Familles orthogonales 1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23,
25, 27, 29, 31, 33, 34, 35

6.3 Projections orthogonales 1, 3, 5, 7, 11, 13, 15, 17, 19, 21, 23, 25

MTH1008: algèbre linéaire 3/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

1. Orthogonalité

2. Projections

3. Matrices orthogonales et bases orthonormales

MTH1008: algèbre linéaire 4/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Rappels
Si A est une matrice de taille m × n et de rang r alors
▶ Im(A) = C(A) est l’image, ou espace des colonnes, engendré
par les colonnes de A, et dim Im(A) = r. C’est un
sous-espace de Rm
▶ Ker(A) = N (A) est le noyau de A, engendré par les solutions
spéciales, et dim Ker(A) = n − r. C’est un sous-espace de Rn
▶ Lgn(A) = C(A⊤ ) est l’espace des lignes, engendré par les
lignes de A, et dim Lgn(A) = r. C’est un sous-espace de Rn
▶ Ker(A⊤ ) = N (A⊤ ) est le noyau à gauche de A et
dim Ker(A⊤ ) = m − r. C’est un sous-espace de Rm

MTH1008: algèbre linéaire 5/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Portrait global Rn Rm

Im(A⊤ ) Im(A)

tous les A⊤ y tous les Ax

dim = r dim = r

0 0
□

□
Ker(A) Ker(A⊤ )
tout x tel que tout y tel que
Ax = 0 A⊤ y = 0
dim = n − r dim = m − r

MTH1008: algèbre linéaire 6/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Vecteurs orthogonaux

▶ Deux vecteurs u et w sont orthogonaux si leur produit

scalaire est nul

▶ Dans ce cas, on note u ⊥ w, et on a :

▶ u⊤ w = 0

▶ ∥u∥2 + ∥w∥2 = ∥u + w∥2

MTH1008: algèbre linéaire 7/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Sous-espaces orthogonaux

▶ Deux sous-espaces U et W (d’un même espace vectoriel) sont

orthogonaux si u⊤ w = 0 pour chaque vecteur u ∈ U et
chaque vecteur w ∈ W

▶ Autrement dit, tous les vecteurs de U sont orthogonaux à

tous les vecteurs de W (et vice versa)

▶ On note U ⊥ W

MTH1008: algèbre linéaire 8/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Remarques

▶ Si U et W sont des sous-espaces orthogonaux alors leur seul

vecteur commun est le vecteur nul 0

▶ Si U et W sont des sous-espaces de Rn tels que

dim U + dim W > n, alors il ne peuvent pas être orthogonaux

▶ Ainsi, par exemple, deux plans de R3 ne peuvent pas être des

sous-espaces orthogonaux

MTH1008: algèbre linéaire 9/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Théorèmes
▶ Si A est une matrice de taille m × n alors le noyau Ker(A) et
l’espace des lignes Im(A⊤ ) sont des sous-espaces vectoriels
orthogonaux de Rn :

Ker(A) ⊥ Im(A⊤ )

▶ Si A est une matrice de taille m × n alors le noyau à gauche

Ker(A⊤ ) et l’image Im(A) sont des sous-espaces vectoriels
orthogonaux de Rm :

Ker(A⊤ ) ⊥ Im(A)

MTH1008: algèbre linéaire 10/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Preuves que Ker(A) ⊥ Im(A⊤ )

▶ Chaque équation du SÉL Ax = 0 signifie que la ligne
correspondante de A est orthogonale à x
▶ Donc chaque ligne de A est perpendiculaire à chaque solution
de Ax = 0
▶ Ceci est vrai aussi pour toutes les combinaisons de lignes

On peut aussi le montrer en considérant x ∈ Ker(A) et

v ∈ Im(A⊤ ) :
▶ v peut s’écrire comme combinaison des lignes de A
▶ Donc on peut trouver un y ∈ Rm tel que v = A⊤ y
▶ Ainsi v⊤ x = (A⊤ y)⊤ x = y⊤ Ax = 0 : x ⊥ v

MTH1008: algèbre linéaire 11/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Preuves que Ker(A⊤ ) ⊥ Im(A)

On applique les preuves de Ker(A) ⊥ Im(A⊤ ) à A⊤

Ou bien :
▶ Chaque équation du SÉL A⊤ y = 0 signifie que la colonne
correspondante de A est orthogonale à y

▶ Donc chaque colonne de A est perpendiculaire à chaque

solution de A⊤ y = 0

▶ Ceci est vrai aussi pour toutes les combinaisons de colonnes

MTH1008: algèbre linéaire 12/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Complément orthogonal

Définition
Le complément orthogonal (ou l’orthogonal) d’un sous-espace
vectoriel W est le sous-espace W ⊥ contenant tous les vecteurs
orthogonaux à W

Théorème
Si W est un sous-espace vectoriel de V alors

dim W + dim W ⊥ = dim V

MTH1008: algèbre linéaire 13/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Théorèmes
▶ Si A est une matrice de taille m × n alors le noyau Ker(A)
est le complément orthogonal de l’espace des lignes Im(A⊤ ),
dans Rn :

Im(A⊤ ) = Ker(A)⊥ et Ker(A) = Im(A⊤ )⊥

▶ Si A est une matrice de taille m × n alors le noyau à gauche

Ker(A⊤ ) est le complément orthogonal de l’image Im(A),
dans Rm :

Im(A) = Ker(A⊤ )⊥ et Ker(A⊤ ) = Im(A)⊥

MTH1008: algèbre linéaire 14/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Raison d’être des compléments

Avec une matrice A ∈ Rm×n :

▶ Tout vecteur x ∈ Rn peut se décomposer de façon unique

comme
x = x r + xn
avec xr ∈ Im(A⊤ ) et xn ∈ Ker(A)

▶ Tout vecteur b ∈ Rm peut se décomposer de façon unique

comme
b=p+e
avec p ∈ Im(A) et e ∈ Ker(A⊤ )

MTH1008: algèbre linéaire 15/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Exemple

Avec
 
1 2
A=
3 6

on a
x = xr + x n

avec x = (4, 3), xr = (2, 4) ∈ Im(A⊤ ), et xn = (2, −1) ∈ Ker(A)

(on calcule xr et xn par des projections de x sur Im(A⊤ ) et

Ker(A))

MTH1008: algèbre linéaire 16/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Rn Rm

Im(A⊤ ) Im(A)
Ax = Axr

tous les A⊤ y tous les Ax

dim = r xr dim = r p

0 x = xr + xn
0 b=p+e

Ker(A) xn
Ker(A⊤ ) e

tout x tel que tout y tel que

Ax = 0 A⊤ y = 0
dim = n − r dim = m − r

MTH1008: algèbre linéaire 17/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

1. Orthogonalité

2. Projections

3. Matrices orthogonales et bases orthonormales

MTH1008: algèbre linéaire 18/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Projection sur une droite (1/2)

Soit L le sous-espace vectoriel de Rm correspondant à la droite
engendrée par le vecteur non nul a ∈ Rm
▶ La projection orthogonale du vecteur b ∈ Rm sur L est le
vecteur p ∈ L le plus proche de b

▶ La projection de b sur L est p = x̂a = ax̂ où x̂ = a⊤ b

a⊤ a

▶ On peut le voir aussi comme p = (u⊤ b)u avec

▶ u= a
∥a∥ la normalisation de a
▶ a = ∥a∥u et ∥u∥ = u⊤ u = 1 (u est unitaire)

▶ La droite allant de p à b est orthogonale à a : a ⊥ e avec

e = b − p (e est appelé l’erreur)
▶ Exemple : Avec a = (3, 2) et b = (5, 5), on a p = 1
13 (75, 50)

MTH1008: algèbre linéaire 19/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Projection sur une droite (2/2)

▶ Matriciellement, le résultat précédent se reformule comme
suit :
La projection de b ∈ Rm sur L est p = Pb, où P ∈ Rm×m
est la matrice de projection symétrique suivante :

aa⊤ a
P= ⊤
= uu⊤ avec u =
a a ∥a∥
a⊤ b ⊤ aa⊤
car p = a⊤ a
a = a aa⊤ba = a⊤ a
b = Pb

▶ Exemple :  
1 9 6
Avec a = (3, 2) et b = (5, 5), on a P = 13 6 4

MTH1008: algèbre linéaire 20/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Remarques
▶ P symétrique, r(P) = 1, Im(P) = Im([a]) = L
▶ Si b est orthogonal à a, alors a⊤ b = 0. La projection est
p=0
▶ Si b = a, alors x̂ = 1. La projection de a sur lui-même
donne a : Pa = a (mais P ̸= I)
▶ Si b ∈ L, alors p = b et e = 0
▶ Projeter une deuxième fois ne change rien :
P2 = PP = (uu⊤ )(uu⊤ ) = u(u⊤ u)u⊤ = uu⊤ = P
▶ Lorsque P projette sur un sous-espace (Im(P)), I − P
projette sur le sous-espace orthogonal (Ker(P))
▶ Exemple :  
1 9 6
Illustrer avec a = (3, 2), b = (5, 5), et P = 13
6 4
MTH1008: algèbre linéaire 21/35
Orthogonalité Projections Matrices orthogonales et bases orthonormales

Projection dans un sous-espace

Soit a1 , a2 , . . . , an ∈ Rm n vecteurs linéairement indépendants
avec n < m et W le sous-espace de Rm de dimension n engendré
par ces vecteurs
▶ La projection orthogonale du vecteur b ∈ Rm sur W est le
vecteur p ∈ W le plus proche de b
▶ La projection de b sur W est p = Ax̂ ∈ Rm où
A = a1 a2 · · · an ∈ Rm×n
 

et  −1
x̂ = A⊤ A A ⊤ b ∈ Rn

▶ p = Pb où P est la matrice de projection

 −1
P = A A⊤ A A⊤ ∈ Rm×m

MTH1008: algèbre linéaire 22/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Remarques (1/2)
▶ Le SÉL Ax = b n’a pas toujours de solution (m > n)

▶ Im(A⊤ ) = Rn et Ker(A) = {0}

▶ La matrice A⊤ A est symétrique et de taille n × n. Elle est

inversible car r(A) = r(A⊤ A) (preuve en exercice) et r(A) = n

▶ Intuition pour la formule de x̂ : la droite allant de p à b est

orthogonale au sous-espace W = Im(A) :

A⊤ (b − p) = A⊤ e = 0 = A⊤ (b − Ax̂) ⇒ A⊤ Ax̂ = A⊤ b

⇒ x̂ = (A⊤ A)−1 A⊤ b

▶ Pour trouver la projection p, il faut résoudre le système

A⊤ Ax̂ = A⊤ b, qui possède une solution unique

MTH1008: algèbre linéaire 23/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Remarques (2/2)
▶ Les matrices de projection P ∈ Rm×m vérifient :
P2 = P, P⊤ = P, r(P) = n < m (P est singulière)
▶ W = Im(A) = Im(P) = Im(P⊤ ) : La projection sur W peut
être vue comme la multiplication des vecteurs de Rn par A
(Ax ∈ W pour tout x ∈ Rn ) ou bien comme la multiplication
des vecteurs de Rm par P (Pb ∈ W pour tout b ∈ Rm )
▶ Ker(P) = Ker(P⊤ ) = Ker(A⊤ )
▶ e = b − p est orthogonal aux vecteurs de W = Im(A). Il est
donc dans les noyaux à gauche de A et P : A⊤ e = 0 et
P⊤ e = 0
▶ Décomposition de Rm : b = p + e ∈ Rm
|{z} |{z}
∈Im(A) ∈Im(A)⊥ =Ker(A⊤ )

MTH1008: algèbre linéaire 24/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

La projection sur une droite est un cas particulier

Si n = 1, on retrouve les formules de la projection sur une droite

dans Rm :

A ∈ Rm×n → a ∈ Rm

p = projIm(A) (b) → p = projVect{a} (b)

p = Pb = Ax̂ ∈ Rm → p = Pb = x̂a ∈ Rm

−1 a⊤ b
x̂ = A⊤ A A ⊤ b ∈ Rn → x̂ = a⊤ a
∈R

−1 ⊤ aa⊤
P = A A⊤ A A ∈ Rm×m → P= a⊤ a
∈ Rm×m

MTH1008: algèbre linéaire 25/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

1. Orthogonalité

2. Projections

3. Matrices orthogonales et bases orthonormales

MTH1008: algèbre linéaire 26/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Vecteur orthonormaux

▶ Les vecteurs q1 , q2 , . . . , qn de Rm (avec n ≤ m) sont

orthonormaux si

⊤ 0 lorsque i ̸= j (orthogonalité)
qi qj =
1 lorsque i = j (vecteurs unitaires)

pour tous les i, j ∈ {1, 2, . . . , n}

▶ Géométriquement, les vecteurs sont de longueur 1 et

perpendiculaires entre eux

▶ Si deux vecteurs sont orthogonaux, alors ils sont indépendants

MTH1008: algèbre linéaire 27/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Matrices orthogonales (1/2)

▶ Si les colonnes de la matrice
Q = q1 q2 · · · qn ∈ Rm×n sont orthonormales alors
 

Q⊤ Q = I ∈ Rn×n

▶ La matrice Q n’est pas nécessairement carrée :

Q⊤ Q = I ∈ Rn×n mais QQ⊤ ∈ Rm×m ̸= I

▶ Dans le cas où Q est carrée alors on dit que c’est une matrice
orthogonale et on a Q⊤ Q = QQ⊤ = I, et donc Q−1 = Q⊤

▶ Les colonnes d’une matrice orthogonale forment une base

de Rn . C’est une base orthonormale

MTH1008: algèbre linéaire 28/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Matrices orthogonales (2/2)

▶ Une matrice orthogonale Q ∈ Rn×n préserve le produit

scalaire : Pour tous vecteurs x et y de Rn , on a

(Qx)⊤ (Qy) = x⊤ Q⊤ Qy = x⊤ y

▶ Géométriquement, ceci signifie que les longueurs et les angles

sont préservés

▶ ∥Qx∥ = ∥x∥ pour tout x ∈ Rn

MTH1008: algèbre linéaire 29/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Matrices orthogonales : Exemples

▶ La matrice orthogonale la plus évidente est l’identité : Q = I
 
cos θ − sin θ
▶ Matrices de rotation : Q = ∈ R2×2
sin θ cos θ
▶ Les matrices de permutation sont orthogonales
▶ Matrices de réflexion : Si u ∈ Rn unitaire, on définit Q par la
transformation de Householder :

Q = I − 2uu⊤ ∈ Rn×n

Q est symétrique, orthogonale, et Q2 = I. Noter aussi que u

ne reste pas comme une colonne de Q

Exemples avec u1 = (1, 0) et u2 = √1 (1, −1)

2

MTH1008: algèbre linéaire 30/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Projection : Cas n ≤ m
▶ Si les vecteurs q1 , q2 , . . . , qn de Rm sont orthonormaux alors
la matrice de projection sur le sous-espace de Rm de
dimension n engendré par ces vecteurs (Im(Q)) se simplifie et
devient
P = Q(Q⊤ Q)−1 Q⊤ = QQ⊤ ∈ Rm×m
▶ x̂ = (Q⊤ Q)−1 Q⊤ b = Q⊤ b ∈ Rn avec b ∈ Rm : La solution
au sens des moindres carrés devient très facile à calculer : Plus
besoin de (A⊤ A)−1
 ⊤ 
q1 b
q⊤ b 
▶ p = Qx̂ = QQ⊤ b = q1 q2 · · · qn  2  =
  
 ··· 
q⊤nb

q1 (q⊤ ⊤ ⊤
1 b) + q2 (q2 b) + . . . + qn (qn b) ∈ Im(Q) ⊆ R
m

MTH1008: algèbre linéaire 31/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Projection : Cas n = m
▶ Im(Q) = Rn et la projection d’un vecteur b ∈ Rn sur Im(Q)
est lui-même : P = I
▶ De plus, on a p = b ∈ Rn et
     
b = q 1 q⊤ ⊤ ⊤
1 b + q2 q2 b + · · · + qn qn b

= projVect{q1 } (b) + projVect{q2 } (b) + · · · + projVect{qn } (b)

Ceci est la décomposition de b dans la base des qj ,
j ∈ {1, 2, . . . , n}
▶ Exemple
  :    
2 1 0
=2 +3
3 0   1
√ √
  
1 −1
= 5 2 2 √12 + 2
2 √1
1 2 1
MTH1008: algèbre linéaire 32/35
Orthogonalité Projections Matrices orthogonales et bases orthonormales

Décompositions dans une base orthogonale (1/2)

▶ Soit W un sev de Rm de dimension n, et dont une base est
B = {v1 , v2 , . . . , vn }
▶ Si les vecteurs de B sont orthogonaux, alors B est appelée une
base orthogonale de W
▶ Q = [v1 v2 · · · vn ] ∈ Rm×n n’est pas orthogonale mais
Q⊤ Q est diagonale n × n avec chaque élément diagonal égal
à ∥vj ∥2 , j = 1, 2, . . . , n
▶ La projection de b ∈ W = Im(Q) donnera alors

v1⊤ b v2⊤ b vn⊤ b

b= v 1 + v 2 + · · · + vn
∥v1 ∥2 ∥v2 ∥2 ∥vn ∥2
= projVect{v1 } (b) + projVect{v2 } (b) + · · · + projVect{vn } (b)
(décomposition de b ∈ W dans B)
MTH1008: algèbre linéaire 33/35
Orthogonalité Projections Matrices orthogonales et bases orthonormales

Décompositions dans une base orthogonale (2/2)

Si b ∈ Rm (pas forcément dans W ), alors

b = projW (b) + projW ⊥ (b)

= projVect{v1 } (b) + projVect{v2 } (b) + · · · + projVect{vn } (b)

+ projW ⊥ (b) ∈ Rm

À noter cette formule alternative de la projection de b sur W :

n
p = projW (b) = Q(Q⊤ Q)−1 Q⊤ b =
P
projVect{vj } (b)
j=1
n
P vj⊤ b
= v
∥vj ∥2 j
j=1

MTH1008: algèbre linéaire 34/35

Orthogonalité Projections Matrices orthogonales et bases orthonormales

Résumé des différentes décompositions

∈ Rm×n (colonnes orthogonales) :
 
V= v1 v2 · · · vn

v1⊤ b v2⊤ b vn⊤ b

p = v1 + v 2 + . . . + v n ∈ Im(V) ⊆ Rm
∥v1 ∥2 ∥v2 ∥2 ∥vn ∥2

∈ Rm×n (colonnes orthonormales) :

 
Q= q1 q2 · · · qn

p = q1 (q⊤ ⊤ ⊤
1 b) + q2 (q2 b) + . . . + qn (qn b) ∈ Im(Q) ⊆ R
m

b = projIm(V) (b) + projKer(V⊤ ) (b)

= projIm(Q) (b) + projKer(Q⊤ ) (b) = p + e

Si m = n : Im(V) = Im(Q) = Rn , Ker(V⊤ ) = Ker(Q⊤ ) = {0},

p = b, e = 0, {v1 , v2 , . . . , vn } base orthogonale de Rn ,
{q1 , q2 , . . . , qn } base orthonormale de Rn
MTH1008: algèbre linéaire 35/35