2025

Mathématiques 2
TSI
4 heures Calculatrice autorisée

Objectif du problème et articulations entre ses différentes parties

L’objectif du problème est d’établir une expression matricielle donnant la solution du problème de minimisation des
moindres carrés classiquement utilisée en régression linéaire multiple. Cette expression est utilisée pour établir les
formules classiques de la régression linéaire simple.
La partie A donne une description de l’orthogonal de l’image d’une matrice. Elle permet de construire dans la partie
B, la matrice de la projection orthogonale sur un sous-espace de Mp,1 (R). La partie C utilise cette approche dans le
contexte de la régression linaire simple. Elle utilise donc des résultats de la partie B qui elle-même utilise des résultats
de la partie A.

Notations et Rappels
Lorsque n et p sont deux entiers naturels non nuls, Mn,p (R) désigne l’ensemble des matrices à n lignes et p colonnes
à coefficients réels et Mn (R) l’ensemble des matrices carrées d’ordre n à coefficients réels.
Par exemple :   
 x1
 

 .. 
Mn,1 (R) =  .  ; ∀i ∈ {1, . . . ,n}, xi ∈ R
 
xn
 

Pour toute matrice M ∈ Mn,p (R), on note M ⊤ sa transposée.

On rappelle que : ∀(M,N ) ∈ (Mn,p (R))2 , (M N )⊤ = N ⊤ M ⊤ .
On rappelle la définition du noyau et la définition de l’image d’une matrice A ∈ Mn,p (R)
Ker(A) = {X ∈ Mp,1 (R) vérifiant AX = 0} ; Im(A) = {AX avec X ∈ Mp,1 (R)}
  
x1 y1
 ..   .. 
Le produit scalaire usuel sur Mn,1 (R) est défini pour tout X =  .  ∈ Mn,1 (R) et Y =  .  ∈ Mn,1 (R) par :
xn yn

(X | Y ) = x1 y1 + · · · + xn yn = X ⊤ Y

Pour tout X ∈ Mn,1 (R), on note ∥X∥ la norme de X associée à ce produit scalaire, définie par :
v
u n
p uX 2 √
∥X∥ = (X | X) = t xi = X ⊤ X
i=1

L’orthogonal d’un sous-espace F de Mn,1 (R) pour ce produit scalaire est défini par :
F ⊥ = {X ∈ Mn,1 (R) tel que : ∀ Y ∈ F, (X | Y ) = 0}

Partie A – L’égalité (Im(A))⊥ = Ker(A⊤ )

Q1. Soient C1 , . . . ,Cp les vecteurs colonnes d’une matrice A ∈ Mn,p (R).
Pour tout j ∈ {1, . . . ,p}, déterminer Ej ∈ Mn,1 (R) tel que Cj = A Ej .
Montrer que la famille (C1 , . . . ,Cp ) est une famille génératrice de Im(A).

1/6
I – Un premier exemple
 
1 1 1 1
Dans cette partie, on prend A = 0 1 1 1 ∈ M3,4 (R).
1 0 0 1

Q2. Déterminer une base de Im(A).

Q3. Montrer que (Im(A))⊥ = Ker(A⊤ ).

II – Une démonstration
Q4. Justifier que pour tout (X,Y ) ∈ (Mn,1 (R))2 , on a X ⊤ Y = Y ⊤ X.

Q5. Soit X ∈ Mn,1 (R). Montrer que si pour tout Y ∈ Mn,1 (R), X ⊤ Y = 0 alors X est nul.

Soit A ∈ Mn,p (R).

Q6. Montrer que pour tout X ∈ Mn,1 (R) et pour tout Z ∈ Mp,1 (R), on a X ⊤ AZ = Z ⊤ A⊤ X.

Q7. En déduire que : A⊤ X = 0 ⇐⇒ (∀Z ∈ Mp,1 (R), X ⊤ AZ = 0).

Q8. En déduire que (Im(A))⊥ = Ker(A⊤ ).

III – Une application

Dans cette partie A ∈ Mn (R) c’est-à-dire A est une matrice carrée d’ordre n à coefficients réels.

Q9. Justifier que les sous-espaces Ker(A⊤ ) et Im(A) sont supplémentaires dans Mn,1 (R).

Q10. Justifier que les sous-espaces Ker(A) et Im(A⊤ ) sont supplémentaires dans Mn,1 (R).

Q11. En déduire que pour tout X ∈ Mn,1 (R), il existe (X ′ ,X ′′ ) ∈ Ker(A⊤ ) × Im(A⊤ ) tel que X = X ′ + A X ′′ .
On admet que le couple (X ′ ,X ′′ ) ainsi associé à X est unique. On note alors u l’application u : X 7→ X ′′ .

Q12. Montrer que u est un endomorphisme de Mn,1 (R).

On note B la matrice de u dans la base canonique de Mn,1 (R).

Q13. Soit X ∈ Mn,1 (R), et (X ′ ,X ′′ ) défini de manière unique en Q11.

A l’aide de la définition d’une projection orthogonale et de la question Q8 montrer que A X ′′ est le projeté
orthogonal de X sur Im(A).
En déduire que AB est la matrice de la projection orthogonale sur Im(A).

Q14. Montrer que BA est la matrice de la projection orthogonale sur Im(A⊤ ).

IV – Un deuxième exemple
0 0 ... ... ... 0
 
.. .. .. 
. .

1 .
.. 
 
 1 .. ..
0
2
. . .
Jusqu’à la fin de cette partie, on prend A =  ..  ∈ Mn (R) avec n ⩾ 2.

 .. .. .. .. ..
.
 . . . . . 
. .. .. ..
 ..

. . . 0
1
0 ... ... 0 n−1 0
On note Bc = (e1 , . . . ,en ) la base canonique de Mn,1 (R).

Q15. Déterminer le rang de A et le rang de A⊤ .

2/6
Q16. Déterminer une base de chacun des espaces (Im(A))⊥ et Ker(A⊤ ).
On exprimera chaque base à l’aide des vecteurs de Bc .

Q17. Vérifier que l’endomorphisme u de Mn,1 (R) construit en Q11, est l’application :
   
x1 x2
n
 x2  n−1
 2x3 
   
X  ..  ′′
X ..
u:X= xk ek =  .  7−→ X = kxk+1 ek = 
 
   . 

k=1 xn−1  k=1 (n − 1)xn 
xn 0

Q18. Construire la matrice B de u dans Bc .

Q19. Vérifier le résultat de la question Q14.

Partie B – Une expression de la matrice d’un projecteur orthogo-

nal dans une base quelconque
L’espace Mp,1 (R) est muni de son produit scalaire canonique rappelé en préambule.
Soient F un sous-espace vectoriel de Mp,1 (R) de dimension k et BF = (f1 , . . . ,fk ) une base de F .
On note pF la projection orthogonale sur F et A la matrice de BF dans la base canonique de Mp,1 (R).
La matrice A est donc dans Mp,k (R) et ses colonnes sont les vecteurs f1 , · · · ,fk exprimés dans la base canonique de
Mp,1 (R).
Le but de cette partie est de démontrer que la matrice A⊤ A est inversible et que A(A⊤ A)−1 A⊤ est la matrice de pF
dans la base canonique de Mp,1 (R).

Q20. Justifier que Ker(A) = {0}.

Q21. Montrer que : X ∈ Ker(A⊤ A) ⇒ ∥AX∥ = 0 ⇒ X = 0.

Q22. Montrer que A⊤ A est inversible.

Q23. Montrer que F = Im(A).

Q24. Montrer que pour tout X ∈ Mp,1 (R), il existe Y ∈ Mk,1 (R) tel que : pF (X) = AY et X − AY ∈ Ker(A⊤ ).

Q25. En déduire que la matrice A(A⊤ A)−1 A⊤ est la matrice de pF dans la base canonique de Mp,1 (R).

Partie C – Régression linéaire simple

 
1
 .. 
On pose u =  .  ∈ Mn,1 (R) le vecteur colonne à n lignes contenant que des 1.
1
 
a1
On note a =  ...  ∈ Mn,1 (R) un vecteur colonne donné et non colinéaire à u.
 

an
 
1 a1
1 a2 
Soit A la matrice : A =  . ..  ∈ Mn,2 (R).
 
 .. .
1 an
Lors d’un processus expérimental d’entrée a1 ∈ R, on recueille l’observation b1 ∈ R. On répète ce même processus
avec l’entrée a2 ∈ R, on recueille l’observation b2 ∈ R. Ainsi de suite jusqu’au dernier processus d’entrée an ∈ R, où
on recueille l’observation bn ∈ R.

3/6
  
b1
 .. 
On note le vecteur b =  .  ∈ Mn,1 (R) contenant donc les n observations après les n processus expérimentaux
bn
d’entrées a1 , . . . , an .
  2
x1
On pose g : R2 → R la fonction définie par : ∀(x1 , x2 ) ∈ R2 , g(x1 , x2 ) = A −b .
x2

I – Minimisation de g sur un exemple

   
1 1 1
On prend dans cette sous partie, A = 1 −1 et b = 2.
1 0 3

Q26. Expliciter la fonction g et justifier qu’elle est de classe C1 sur R2 .

Q27. Calculer les dérivées partielles de g.

Q28. En déduire que g admet un unique point critique dans R2 que l’on précisera.

Q29. Montrer qu’en ce point g atteint son minimum.

Pour tout (x1 ,x2 ) ∈ R2 , on écrira g(x1 ,x2 ) sous la forme β1 (x1 − α1 )2 + β2 (x2 − α2 )2 + m où β1 > 0 et β2 > 0.

II – Minimisation de g via une projection orthogonale

On se place dans les conditions énoncées dans le préambule de la partie C.
n
X n
X n
X
Q30. Démontrer que : ∀(x1 , x2 ) ∈ R2 , g(x1 , x2 ) = b2i − 2 (x1 + ai x2 )bi + (x1 + ai x2 )2 .
i=1 i=1 i=1
Justifier que g est de classe C1 sur R2 .

Q31. Calculer le gradient de g en (x1 , x2 ) ∈ R2 noté ∇g(x1 , x2 ).

 
x1
Q32. Montrer que : ∀(x1 , x2 ) ∈ R2 , ∇g(x1 , x2 ) = −2A⊤ b + 2A⊤ A .
x2

Q33. Justifier à l’aide de la partie B que la matrice A⊤ A est inversible.

 
α1
Q34. Montrer que si g admet un extremum en (α1 , α2 ) alors = (A⊤ A)−1 A⊤ b.
α2

On note F = Im(A) et pF le projecteur orthogonal sur F .

 
α1
Q35. Justifier que pF (b) = A .
α2

Q36. En déduire que g(α1 ,α2 ) est le minimum de g sur R2 .

III – Une autre expression de la solution du problème de minimisation de g

On note :
n n
1X 1X
ma = ai ; mb = bi
n i=1 n i=1
les valeurs moyennes et
n
X
Sa,b = (ai − ma )(bi − mb )
i=1

n
X
Q37. Montrer que Sa,b = (ai × bi ) − n × ma × mb .
i=1

4/6
  
1
1
Q38. Montrer que Sa,a = ∥a − ma · u∥2 où u =  .  ∈ Mn,1 (R).
 
 .. 
1

Q39. Montrer que Sa,a ̸= 0.

 X n n
X 
a2i − ai 
1 
Q40. En déduire que la matrice A⊤ A est inversible et montrer que (A⊤ A)−1 =
 i=1 i=1
.

n
n × Sa,a
 X
 
− ai n
i=1

Sa,b
Q41. En déduire que : α2 = et α1 = mb − α2 × ma
Sa,a

Q42. Un exemple d’application

Soit la fonction g définie sur R2 par :

g : (x1 ,x2 ) 7−→ (x1 + 2x2 − 1)2 + (x1 + x2 − 2)2 + (x1 + x2 − 1)2 + (x1 − x2 )2 + (x1 − 3x2 − 1)2

Déterminer en quel point le minimum de g sur R2 est atteint.

IV – Espérance des estimateurs de l’argmin

On suppose que chaque bi , pour i ∈ {1, · · · , n}, est une observation d’une variable aléatoire réelle Bi .
On suppose que les variables aléatoires Bi suivent toutes la même loi et sont deux à deux indépendantes.
On modélise le processus expérimental à l’aide du modèle linéaire, c’est à dire on suppose que :
- Pour i ∈ {1, · · · , n}, Bi = x1 + x2 ai + Ei où Ei est une variable aléatoire réelle.
- On suppose que les variables Ei suivent toutes la même loi, sont centrées et d’écart type noté σ > 0, et sont
deux à deux indépendantes.
 
B1
 .. 
On note B =  .  le vecteur aléatoire dont les coordonnées sont les variables aléatoires Bi .
Bn
 
E1
De même, on note E =  ...  le vecteur aléatoire dont les coordonnées sont les variables aléatoires Ei .
 

En

Q43. Déterminer l’espérance de Bi en fonction des nombres réels x1 , x2 et ai .

Q44. Déterminer la variance de Bi en fonction de σ.

 
X1
On pose le vecteur aléatoire (A⊤ A)−1 A⊤ B.
X2
Ainsi définies, X1 et X2 sont des variables aléatoires réelles appelées estimateurs des coefficients par la méthode des
moindre carrés.
n
1X
On note : ma = ai ∈ R et on définit les variables aléatoires
n i=1

n n
1X X
mB = Bi ; Sa,B = (ai − ma )(Bi − mB )
n i=1 i=1

Q45. Déterminer l’espérance de mB en fonction des nombres réels x1 , x2 et ma .

Sa,B
Q46. Justifier que X2 = et que X1 = mB − X2 ma .
Sa,a

Q47. Déterminer l’espérance de X2 .

5/6
 M083 - 2 mai 2025 - [Link] c b e a
Q48. Déterminer l’espérance de X1 .

⋄ Fin ⋄

6/6