Introduction générale

La méthode des moindres carrés est une méthode ancienne datant du dix-huitième
siècle; elle a été développée par Mr Gauss. Dans le cadre de ces travaux sur les planètes, Mr
Gauss a développé cette méthode pour déterminer les orbites des planètes à partir des
positions observées. Mr Gauss a eu l'idée d'approximer l'orbite d'une planète par un modèle
mathématique dont les paramètres sont ajustables. En effet, cette approximation est réalisée
par la minimisation de la somme des carrés des erreurs, dite "erreur d'estimation", entre les
positions observées et celles générées par le modèle mathématique [1] [2].

Au fil du temps, cette méthode a reçu une très grande attention de la communauté
scientifique. En effet, les bons résultats de cette méthode lui ont permis d'être appliquées dans
diverses disciplines avec succès. Cependant, la complexité des systèmes et le développement
des mathématiques ont poussé les scientifiques à étudier plus profondément cette méthode et à
développer d'autres méthodes telles que la méthode du gradient …etc.

Dans la discipline de la commande des systèmes, le développement de la méthode des

moindres carrés a donné lieu à un domaine particulier pour l'automatique, en l'occurrence le
domaine de l'identification et encore plus au domaine de la commande adaptative. En effet, la
le développement des méthodes récursives d'identification ont permis le développement des
commandes adaptatives pour les systèmes variant dans le temps.

La discipline de la commande des systèmes ayant suivi deux directions "concurrente",

la commande des systèmes à modèle échantillonné et la commande des systèmes à modèle
continu; les chercheurs ont développé pour chaque cas l'algorithme des moindres carrés
récursif. L'objectif de ce mémoire est donc d'étudier et de présenter, pour chaque cas,
l'algorithme des moindres carrés récursif et ces différentes déclinaisons. Nous étudions
l’ajustement et la convergence des paramètres dans les deux cas. Ainsi, on citera des notions
importantes, des définitions et des théorèmes qui seront utile pour la bonne compréhension
des algorithmes. D'autre part, on tentera de présenter une comparaison théorique entre les
deux versions, discrètes et continue.

Pour les deux versions de l'algorithme récursif des moindres carrés, des simulations
réalisées sous le logiciel Matlab/Simulink pour un système électrique simple «Filtre RC»
seront présentés. D'autre part, un système pratique constitué d'une machine à courant continue
alimentée par un hacheur série sera utilisé pour réalisé les tests de comparaison entre les deux

1
 Introduction générale

versions de l'algorithme par simulation. Pour terminer ce travail, un test pratique de

l'algorithme récursif des moindres carrés dans sa versions discrète a été réalisé au laboratoire
"Machine Electrique" sur le système précédent.

Nous espérons que la lecture de ce travail saura éveiller un certain intérêt chez le
lecteur non averti et qu’elle plaira aux spécialistes.

2
Chapitre I Méthodes Moindres carrés : cas continu

1. Introduction
L’objectif de ce chapitre est de présenter la méthode d'identification dite des moindres
carrées et ce pour les systèmes continus mono entrée-mono sortie (SISO). Cette méthode sert
à trouver un ensemble de paramètres permettant de rendre l’erreur nulle entre la sortie du
système et celle du modèle paramétrique linéaire. On présentera en premier lieu l’algorithme
des moindres carrée non récursif, et à partir de celui-ci on démontera la version récursive. Une
analyse de convergence de l’algorithme sera aussi présentée.

2. Normes et convexité
Les algorithmes en identification étant basés sur la notion de minimisation des
fonctions convexes. D’autre part l’analyse de la convergence des algorithmes d’identification
en général et celui des moindres carrés en particulier fait appel à plusieurs notions
mathématiques [1][7][8]. Nous rappelons ici les définitions usuelles des normes et des
fonctions convexes.

2.1. Norme vectorielle

La norme |𝑥𝑥| d'un vecteur 𝑥𝑥 peut être considérée comme la taille ou la longueur du
vecteur 𝑥𝑥. De même, |𝑥𝑥 − 𝑦𝑦| peut être considéré comme étant la distance entre le vecteur 𝑥𝑥 et
𝑦𝑦. La norme d'un vecteur 𝑥𝑥 est une fonction à valeur réelle et ayant les propriétés suivantes :

i. |𝑥𝑥|≥ 0 avec |𝑥𝑥| = 0 si et seulement si 𝑥𝑥 = 0.

ii. |𝛼𝛼𝛼𝛼|= |𝛼𝛼||𝑥𝑥| pour tout scalaire α.

iii. |𝑥𝑥 + 𝑦𝑦| ≤ |𝑥𝑥|+|𝑦𝑦| (Inégalité triangulaire).

2.2. Norme matricielle

Une matrice 𝐴𝐴 ∈ 𝑅𝑅 𝑚𝑚 ×𝑛𝑛 est une application linéaire d’un espace vectoriel de dimension
𝑛𝑛 vers un espace vectoriel de dimension m. Nous définissons la norme induite d’une matrice
𝐴𝐴 comme suit.

Soit | ∙ | une norme vectorielle donnée, alors pour chaque matrice 𝐴𝐴∈ℛ 𝑚𝑚 ×𝑛𝑛 , la quantité
‖𝐴𝐴‖ définie par

|𝐴𝐴𝐴𝐴|
‖𝐴𝐴‖ ≜ sup = sup |𝐴𝐴𝐴𝐴| = sup |𝐴𝐴𝐴𝐴|
𝑥𝑥≠0 |𝑥𝑥| |𝑥𝑥|≤1 |𝑥𝑥|=1
𝑥𝑥∈ℛ 𝑛𝑛

3
Chapitre I Méthodes Moindres carrés : cas continu

Est dite la nome induite matricielle de la matrice 𝐴𝐴 correspondante à la norme vectorielle | ∙ |.

Cette dernière possède en plus des propriétés (i) à (iii) de la définition 2.1, les propriétés
suivantes.

i. |𝐴𝐴𝐴𝐴|≤‖𝐴𝐴‖|𝑥𝑥|, ∀x∈ℛ 𝑛𝑛

ii. ‖𝐴𝐴 + 𝐵𝐵‖≤ ‖𝐴𝐴‖+‖𝐵𝐵‖

iii. ‖𝐴𝐴𝐴𝐴‖≤ ‖𝐴𝐴‖‖𝐵𝐵‖

Les normes les plus couramment utilisées sont rassemblées dans le tableau suivant.

Tableau 3.1 normes couramment utilisées :

Norme sur ℛ 𝑛𝑛 Norme induite sur ℛ 𝑚𝑚 ×𝑛𝑛

|𝑥𝑥|∞ =𝑚𝑚𝑚𝑚𝑚𝑚𝑖𝑖 |𝑥𝑥𝑖𝑖 | (Norme infinie) ‖𝐴𝐴‖∞ =𝑚𝑚𝑚𝑚𝑚𝑚𝑖𝑖 ∑𝑗𝑗 �𝑎𝑎𝑖𝑖𝑖𝑖 � (somme sur une ligne)
|𝑥𝑥|1 = ∑𝑖𝑖 ∣ 𝑥𝑥𝑖𝑖 ∣ ‖𝐴𝐴‖1 =𝑚𝑚𝑚𝑚𝑚𝑚𝑗𝑗 ∑𝑖𝑖 �𝑎𝑎𝑖𝑖𝑖𝑖 � (somme sur une colonne)
1⁄2
|𝑥𝑥|2 =(∑𝑖𝑖 ∣ 𝑥𝑥𝑖𝑖 ∣ ²) ‖𝐴𝐴‖2 = [𝜆𝜆𝑚𝑚 (𝐴𝐴𝑇𝑇 𝐴𝐴)]1⁄2 , Ou 𝜆𝜆𝑚𝑚 (𝑀𝑀) est la valeur
(Norme euclidienne) propre maximale de M

2.3. Norme 𝓛𝓛𝐩𝐩

Pour les fonctions temporelles et pour tout 𝑝𝑝 ∈ [1, ∞[, on définie la norme ℒ𝑝𝑝 comme suit :

∞ 1⁄𝑝𝑝
‖𝑥𝑥‖𝑝𝑝 ≜ �� |𝑥𝑥(𝜏𝜏)|𝑝𝑝 𝑑𝑑𝑑𝑑�
0

On dit que x appartient à ℒ𝑝𝑝 si ‖𝑥𝑥‖𝑝𝑝 est une valeur fini. La norme ℒ∞ est définie comme :

‖𝑥𝑥‖∞ ≜ sup|𝑥𝑥(𝑡𝑡)|
𝑡𝑡≥0

Dans les définitions de ℒ𝑝𝑝 , ℒ∞ ci-haut ; 𝑥𝑥 (𝑡𝑡) peut être un scalaire ou une fonction vectorielle.
Si 𝑥𝑥 est une fonction scalaire, alors | ∙ | désigne la valeur absolue. Si 𝑥𝑥 est une fonction
vectorielle dans ℛ 𝑛𝑛 alors | ∙ | désigne n’importe quelle norme dans ℛ 𝑛𝑛 .

4
Chapitre I Méthodes Moindres carrés : cas continu

2.4. Convexité
L'analyse convexe traite les fonctions et les ensembles convexes, elle est
l’intermédiaire entre l'algèbre linéaire et l'analyse non linéaire. Elle nous permet de démontrer
un grand nombre d'inégalités remarquables (inégalités de convexité), et d’éliminer la
distinction entre le minimum local et le minimum globale se qui signifie qu’elle a aussi un
rôle en optimisation.

Définition1 [6] : On dit qu’une fonction f (x) est convexe sur un ensemble convexe I dans ℛ 𝑛𝑛
si et seulement si :

∀ (𝑥𝑥1 , 𝑥𝑥2 ) ∈ 𝐼𝐼2 , ∀ λ ∈[0,1] ; f (λ 𝑥𝑥1 + (1 − λ) 𝑥𝑥2 ) ≤ λ f(𝑥𝑥1 ) + (1 − λ) f(𝑥𝑥2 )

Pour les fonctions convexes, il y a une équivalence entre le minimum local et le

minimum global. Une fonction convexe possède les propriétés suivantes [ 6][ 7].
Soit f convexe sur I.
i. La fonction 𝑓𝑓 admet Un seul minimum.
ii. Si 𝑓𝑓 admet un minimum local 𝑦𝑦0 , alors c’est un minimum global.
iii. Si un minimum local (donc global) est atteint en deux points 𝑥𝑥1 < 𝑥𝑥2 , alors 𝑓𝑓 est
constante sur [𝑥𝑥1 , 𝑥𝑥2 ].
iv. 𝑓𝑓 est dite strictement convexe si l’inégalité précédente est stricte pour 𝑥𝑥1 ≠ 𝑥𝑥2 .
v. Si 𝑓𝑓 et 𝑔𝑔 sont deux fonctions convexes, alors 𝑓𝑓 + 𝑔𝑔 est une fonction convexe.
vi. Toute fonction convexe sur 𝐼𝐼 est continu, et elle admet une dérivé à droite
(respectivement à gauche).

3. Identification par la méthode des moindres carrés (MC)

3.1. Modèle paramétrique linéaire
En identification, quelque soit le cas auquel on s’intéresse (continu ou échantillonné),
on cherche toujours une écriture particulière de modèle du système. Cette écriture est dite
Modèle Paramétrique Linéaire. Pour le cas linéaires continus ce modèle est obtenu comme
suit [5].

5
Chapitre I Méthodes Moindres carrés : cas continu

Soit un système linéaire continu d’ordre n tel que m ≤ n (système propre ou

d n y d mu
strictement propre) où y, u, sont respectivement la sortie, l'entrée et leur nième
dt n dt m
dérivée. a n , bm sont les paramètres du système.

𝑑𝑑 𝑛𝑛 𝑦𝑦 𝑑𝑑 𝑛𝑛 −1 𝑦𝑦 𝑑𝑑 𝑚𝑚 𝑢𝑢 𝑑𝑑 𝑚𝑚 −1 𝑢𝑢
𝑑𝑑𝑡𝑡 𝑛𝑛
= −𝑎𝑎𝑛𝑛−1 𝑑𝑑𝑡𝑡 𝑛𝑛 −1 − ⋯ − 𝑎𝑎0 𝑦𝑦 + 𝑏𝑏𝑚𝑚 𝑑𝑑 𝑡𝑡 𝑚𝑚
+ 𝑏𝑏𝑚𝑚 −1 𝑑𝑑𝑡𝑡 𝑚𝑚 −1 + ⋯ + 𝑏𝑏0 𝑢𝑢 (1.1)

Si on rassemble les paramètres dans le vecteur des paramètres θ * ; les entrées, sorties
et leurs dérivées dans le vecteur des signaux Y tel que :

θ * = [bm , bm−1 ,, b0 , a n −1 , a n −2 , a0 ]T

T
 d m u d m−1u d n−1 y d n−2 y 
Y =  m , m−1 ,, u ,− n−1 ,− n−2 , y 
 dt dt dt dt 

dny
On obtient la forme des paramètres linéaire suivante: = θ *T Y
dt n

En réalité les seuls signaux disponibles (mesurés) sont l'entrée u et la sortie y . Comme
les différentes dérivées ne sont pas disponibles et que la dérivation n'est pas souhaitée, donc le
modèle précédent ne peut pas être utilisé directement. Pour éviter la dérivation, le modèle
précédent est modifié on ajoutant des deux côtés de l'égalité (1.1) la quantité suivante:

 d n−1 d n−2 
λn−1 n−1 + λn−2 n−2 +  + λ0  y
 dt dt 

On obtient

dny  d n−1 d n−2 

+  λ − + λ − +  + λ y =
dt n−1 dt n−2
n 1 n 2 0
dt n  
 d n−1   dm d m−1   d n−1 d n−2 
−
 n−1 n−1
a −  − a 0  y +  m m
b + b m −1 +  + b0  u + λ
 n−1 n−1 + λ n−2 +  + λ0  y
 dt   dt dt m−1   dt dt n−2


Après arrangement on aura :

6
Chapitre I Méthodes Moindres carrés : cas continu

 dn d n−1 d n−2 
 n + λn−1 n−1 + λn−2 n−2 +  + λ0  y =
 dt dt dt 
 dm d m−1   d n−1 d n−2 
bm m + bm−1 m−1 +  + b0 u + (λn−1 − a n−1 ) n−1 + (λn−2 − a n−2 ) n−2 +  + (λ0 − a0 ) y
 dt dt   dt dt 

 dn d n−1 d n−2 
Si l'on note Λ =  n + λn−1 n−1 + λn−2 n−2 +  + λ0  . On obtient alors le modèle
 dt dt dt 
paramétrique linéaire modifié suivant:

𝑦𝑦 = 𝜃𝜃 ∗𝑇𝑇 𝜙𝜙 (1.2)

Où 𝜃𝜃 ∗ est le nouveau vecteur paramètres donné part:

θ * = [θ1 , θ 2 ,,θ n + m+1 ]T = [bm , bm−1 ,, b0 , (λn −1 − a n −1 ), (λn − 2 − a n − 2 ),, (λ0 − a0 )]T

Et φ est le vecteur des signaux filtrés:

T
 dm d m−1 d n−1 d n−2 
 m m −1 n −1 n−2 
φ = [φ1 , φ 2 ,, φ n+ m+1 ]T
u y
=  dt u , dt u ,, , dt y, dt y,, 
 Λ Λ Λ Λ Λ Λ 
 
 

En effet les signaux φi sont obtenus par filtrage de l'entrée u et la sortie y ou les
différents filtres sont donnés dans le domaine de Laplace par :

 s m s m−1 1 s n−1 s n−2 1 

 , ,, , , ,, 
 Λ ( s ) Λ ( s ) Λ( s) Λ( s) Λ( s) Λ ( s ) 

Λ( s ) = s n + λn−1 s n−1 + λn−2 s n−2 +  + λ0

Où les λi sont choisis tel que le polynôme Λ(s) soit stable.

3.2. Algorithme MC non récursif

7
Chapitre I Méthodes Moindres carrés : cas continu

L’algorithme des moindres carrés non récursif est obtenu par la minimisation de la
fonction convexe suivante dite fonction de coût [1][3][7] :
1 𝑡𝑡 −𝛽𝛽(𝑡𝑡−𝜏𝜏) (𝑦𝑦(𝜏𝜏) − 𝜃𝜃 𝑇𝑇 (𝑡𝑡)𝜙𝜙(𝜏𝜏))2 1 −𝛽𝛽𝛽𝛽
𝐽𝐽(𝜃𝜃) = � 𝑒𝑒 𝑑𝑑𝑑𝑑 + 𝑒𝑒 (𝜃𝜃 − 𝜃𝜃0 )𝑇𝑇 𝑄𝑄0 (𝜃𝜃 − 𝜃𝜃0 ) (1.3)
2 0 𝑚𝑚2 2
Telle que:
- 𝑄𝑄0 = 𝑄𝑄0𝑇𝑇 > 0 ; est une matrice symétrique définie positive.
- 𝛽𝛽 > 0 ; constante réel dite facteur d'oubli.
- 𝜃𝜃0 = 𝜃𝜃(𝑡𝑡 = 0).
- 𝑦𝑦(𝑡𝑡) − 𝜃𝜃 𝑇𝑇 (𝑡𝑡)𝜙𝜙(t) = 𝑒𝑒(𝑡𝑡) ; est l’erreur d’estimation.
𝑦𝑦 (𝑡𝑡)−𝜃𝜃 𝑇𝑇 (𝑡𝑡) 𝜙𝜙(𝑡𝑡)
- 𝑚𝑚 2
= 𝜉𝜉(𝑡𝑡) ; est l'erreur d'estimation normalisée, Où 𝑚𝑚2 = 1 + 𝑛𝑛𝑠𝑠2

Telle que : 𝑛𝑛𝑠𝑠2 = 𝜙𝜙 𝑇𝑇 𝑃𝑃𝑃𝑃 pour 𝑃𝑃 = 𝑃𝑃𝑇𝑇 > 0, 𝑛𝑛𝑠𝑠 est le signal de normalisation conçus de telle sorte
𝜙𝜙
que
𝑚𝑚
∈ ℒ∞ .

Dans l’équation précédente, 𝑚𝑚2 est le signal de normalisation. L’introduction du

terme m2 permet de normaliser les signaux, c'est-à-dire de faire en sorte que les signaux du
𝑦𝑦 𝜙𝜙
modèle ne divergent pas même si la sortie du système diverge i.e. 𝑚𝑚
∈ ℒ∞ 𝑚𝑚
∈ ℒ∞ . Dans le
𝑦𝑦 𝜙𝜙
cas ou le système est stable on prend m = 1. Puisque 𝑚𝑚
, 𝑚𝑚 ∈ ℒ∞ , alors 𝐽𝐽(𝜃𝜃) est une fonction

convexe en fonction de 𝜃𝜃 sur ℛ 𝑛𝑛 . Par conséquent, tous minimum local est aussi un minimum
globale et donc la relation suivante est satisfaite
∇𝐽𝐽�𝜃𝜃(𝑡𝑡)� = 0 , ∀𝑡𝑡 ≥ 0

𝑡𝑡 2 2
1 �𝑦𝑦(𝜏𝜏) − 𝜃𝜃(𝑡𝑡)𝑇𝑇 𝜙𝜙(𝜏𝜏)� �𝑦𝑦(𝜏𝜏) − 𝜃𝜃(𝑡𝑡)𝑇𝑇 𝜙𝜙(𝜏𝜏)�
𝛻𝛻 𝐽𝐽(𝜃𝜃) = � 𝛻𝛻[𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) ] 𝑑𝑑𝑑𝑑 + �𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏)
� 𝛻𝛻[𝑡𝑡]
2 𝑚𝑚2 𝑚𝑚2
0 𝜏𝜏=𝑡𝑡

1 −𝛽𝛽𝛽𝛽
+ 𝑒𝑒 𝛻𝛻[(𝜃𝜃 − 𝜃𝜃0 )𝑇𝑇 𝑄𝑄0 (𝜃𝜃 − 𝜃𝜃0 )]
2
𝑡𝑡
�𝑦𝑦(𝜏𝜏) − 𝜃𝜃(𝑡𝑡)𝑇𝑇 𝜙𝜙(𝜏𝜏)�
𝛻𝛻 𝐽𝐽(𝜃𝜃) = − � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝜙𝜙(𝜏𝜏) 𝑑𝑑𝑑𝑑+𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 (𝜃𝜃 − 𝜃𝜃0 ) = 0
𝑚𝑚2
0

𝑡𝑡
−𝛽𝛽𝛽𝛽
�𝑦𝑦(𝜏𝜏) − 𝜃𝜃(𝑡𝑡)𝑇𝑇 𝜙𝜙(𝜏𝜏)�
𝑒𝑒 𝒬𝒬0 (𝜃𝜃 − 𝜃𝜃0 ) − � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝜙𝜙(𝜏𝜏) 𝑑𝑑𝑑𝑑 = 0
𝑚𝑚2
0

8
Chapitre I Méthodes Moindres carrés : cas continu

𝑡𝑡 𝑡𝑡
−𝛽𝛽𝛽𝛽 −𝛽𝛽𝛽𝛽 −𝛽𝛽(𝑡𝑡−𝜏𝜏)
𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏) −𝛽𝛽(𝑡𝑡−𝜏𝜏)
[𝜃𝜃(𝑡𝑡)𝑇𝑇 𝜙𝜙(𝜏𝜏)] 𝜙𝜙(𝜏𝜏)
𝑒𝑒 𝑄𝑄0 𝜃𝜃(𝑡𝑡) − 𝑒𝑒 𝑄𝑄0 𝜃𝜃0 − � 𝑒𝑒 𝑑𝑑𝑑𝑑 + � 𝑒𝑒 𝑑𝑑𝑑𝑑 = 0
𝑚𝑚2 𝑚𝑚2
0 0

𝑡𝑡 𝑡𝑡
𝜙𝜙(𝜏𝜏)𝜙𝜙(𝜏𝜏)𝑇𝑇 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
�𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 2
� 𝜃𝜃(𝑡𝑡) = 𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑑𝑑𝑑𝑑
𝑚𝑚 𝑚𝑚2
0 0

𝑡𝑡 −1 𝑡𝑡
−𝛽𝛽𝛽𝛽
𝜙𝜙(𝜏𝜏)𝜙𝜙(𝜏𝜏)𝑇𝑇 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
𝜃𝜃(𝑡𝑡) = �𝑒𝑒 𝑄𝑄0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) � [𝑒𝑒 −𝛽𝛽𝛽𝛽
𝑄𝑄0 𝜃𝜃0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑑𝑑𝑑𝑑]
𝑚𝑚2 𝑚𝑚2
0 0

𝑡𝑡 𝑦𝑦 (𝜏𝜏)𝜙𝜙 (𝜏𝜏)
𝜃𝜃(𝑡𝑡) = 𝑃𝑃(𝑡𝑡) �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + ∫0 𝑒𝑒 −𝛽𝛽 (𝑡𝑡−𝜏𝜏) 𝑑𝑑𝑑𝑑� (1.4)
𝑚𝑚 2

−1
𝑡𝑡 𝜙𝜙 (𝜏𝜏)𝜙𝜙 (𝜏𝜏)𝑇𝑇
Où ∶ 𝑃𝑃(𝑡𝑡) = �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 + ∫0 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) � (1.5)
𝑚𝑚 2

On peut éviter le calcul de l'inverse de 𝑃𝑃(𝑡𝑡) et ce en montrant que ça dérivée est donnée
par :

𝜙𝜙(t) 𝜙𝜙(𝑡𝑡)𝑇𝑇
𝑃𝑃̇(𝑡𝑡) = 𝛽𝛽 𝑃𝑃(𝑡𝑡) − 𝑃𝑃(𝑡𝑡) 𝑚𝑚 2
𝑃𝑃(𝑡𝑡) (1.6)

Ceci est obtenu en considérant l’identité suivante :

𝑑𝑑 𝑑𝑑
(𝑃𝑃(𝑡𝑡)𝑃𝑃(𝑡𝑡)−1 ) = 𝑃𝑃̇(𝑡𝑡) 𝑃𝑃(𝑡𝑡)−1 + 𝑃𝑃(𝑡𝑡) 𝑃𝑃(𝑡𝑡)−1
𝑑𝑑𝑑𝑑 𝑑𝑑𝑑𝑑

𝑑𝑑 𝑑𝑑
𝑃𝑃(𝑡𝑡) [𝑃𝑃(𝑡𝑡)−1 ] + 𝑃𝑃(𝑡𝑡)𝑃𝑃(𝑡𝑡)−1 = 0
𝑑𝑑𝑑𝑑 𝑑𝑑𝑑𝑑

𝑑𝑑 𝑑𝑑
𝑃𝑃(𝑡𝑡) = −𝑃𝑃(𝑡𝑡) [𝑃𝑃(𝑡𝑡)−1 ]𝑃𝑃(𝑡𝑡)
𝑑𝑑𝑑𝑑 𝑑𝑑𝑑𝑑

𝑡𝑡
𝜙𝜙(𝜏𝜏)𝜙𝜙(𝜏𝜏)𝑇𝑇
𝑃𝑃(𝑡𝑡)−1 = 𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑑𝑑𝑑𝑑
𝑚𝑚2
0

𝑡𝑡
𝑑𝑑 𝜙𝜙(𝜏𝜏)𝜙𝜙(𝜏𝜏)𝑇𝑇 𝜙𝜙(𝜏𝜏)𝜙𝜙(𝜏𝜏)𝑇𝑇 𝑑𝑑(𝑡𝑡)
[𝑃𝑃(𝑡𝑡)−1 ] = −𝛽𝛽𝛽𝛽 −𝛽𝛽𝛽𝛽 𝑄𝑄0 + � −𝛽𝛽𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 2
𝑑𝑑𝑑𝑑 + �𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏)
2
�
𝑑𝑑𝑑𝑑 𝑚𝑚 𝑚𝑚 𝜏𝜏=𝑡𝑡
𝑑𝑑𝑑𝑑
0

𝑡𝑡 𝜙𝜙 (𝜏𝜏)𝜙𝜙 (𝜏𝜏)𝑇𝑇 𝜙𝜙 (𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇

= −𝛽𝛽 �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 + ∫0 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑑𝑑𝑑𝑑� +
𝑚𝑚 2 𝑚𝑚 2

𝜙𝜙 (𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇
= −𝛽𝛽𝑃𝑃(𝑡𝑡)−1 + 𝑚𝑚 2

9
Chapitre I Méthodes Moindres carrés : cas continu

𝑑𝑑 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇
𝑃𝑃(𝑡𝑡) = 𝛽𝛽 𝑃𝑃(𝑡𝑡)𝑃𝑃(𝑡𝑡)−1 𝑃𝑃(𝑡𝑡) − 𝑃𝑃(𝑡𝑡) 𝑃𝑃(𝑡𝑡)
𝑑𝑑𝑑𝑑 𝑚𝑚2

𝜙𝜙(𝑡𝑡)𝜙𝜙 (𝑡𝑡) 𝑇𝑇
𝑃𝑃̇(𝑡𝑡) = 𝛽𝛽 𝑃𝑃(𝑡𝑡) − 𝑃𝑃(𝑡𝑡) 𝑚𝑚 2 𝑃𝑃(𝑡𝑡) (1.7)

L'algorithme des moindres carrés non récursif est donc donné par :

𝑡𝑡 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
⎧𝜃𝜃(𝑡𝑡) = 𝑃𝑃(𝑡𝑡) �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + ∫0 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑚𝑚 2
𝑑𝑑𝑑𝑑�
⎪
𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇
𝑃𝑃̇(𝑡𝑡) = 𝛽𝛽 𝑃𝑃(𝑡𝑡) − 𝑃𝑃(𝑡𝑡) 𝑚𝑚 2 𝑃𝑃(𝑡𝑡) (1.8)
⎨
⎪ 𝑃𝑃(𝑡𝑡 = 0) = 𝑃𝑃(0) = 𝒬𝒬 −1
⎩ 0

3.3. Moindres carrés récursif

La version récursive de l'algorithme des moindres carrés est obtenue par dérivation de
𝜃𝜃(𝑡𝑡) dans (1.8) par rapport au temps.

𝑡𝑡 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
𝜃𝜃(𝑡𝑡) = 𝑃𝑃(𝑡𝑡) �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + ∫0 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑚𝑚 2
𝑑𝑑𝑑𝑑� (1.9)

𝑡𝑡
𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
θ̇ (t) = 𝑃𝑃̇(𝑡𝑡) �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑑𝑑𝑑𝑑� +
𝑚𝑚2
0

𝑑𝑑 𝑡𝑡 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
𝑃𝑃(𝑡𝑡)
𝑑𝑑𝑑𝑑
�𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + ∫0 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑚𝑚 2
𝑑𝑑𝑑𝑑� (1.10)

On a :
𝑡𝑡
𝑑𝑑 −𝛽𝛽𝛽𝛽 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
�𝑒𝑒 𝑄𝑄0 𝜃𝜃0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑑𝑑𝑑𝑑�
𝑑𝑑𝑑𝑑 𝑚𝑚2
0
𝑡𝑡
𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏) 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏) 𝑑𝑑𝑑𝑑
= −𝛽𝛽𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + � −𝛽𝛽 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 2
𝑑𝑑𝑑𝑑 + �𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 2
�
𝑚𝑚 𝑚𝑚 𝜏𝜏=𝑡𝑡
𝑑𝑑𝑑𝑑
0
𝑡𝑡
−𝛽𝛽𝛽𝛽
𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏) 𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡)
= −𝛽𝛽𝑒𝑒 𝑄𝑄0 𝜃𝜃0 − 𝛽𝛽 � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 2
𝑑𝑑𝑑𝑑 +
𝑚𝑚 𝑚𝑚2
0
𝑡𝑡
𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏) 𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡)
= −𝛽𝛽 �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + � 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 2
𝑑𝑑𝑑𝑑� +
𝑚𝑚 𝑚𝑚2
0

𝑡𝑡 𝑦𝑦(𝜏𝜏)𝜙𝜙(𝜏𝜏)
De (1.9) on tire : �𝑒𝑒 −𝛽𝛽𝛽𝛽 𝑄𝑄0 𝜃𝜃0 + ∫0 𝑒𝑒 −𝛽𝛽(𝑡𝑡−𝜏𝜏) 𝑚𝑚 2
𝑑𝑑𝑑𝑑� = 𝑃𝑃(𝑡𝑡)−1 𝜃𝜃(𝑡𝑡)

10
Chapitre I Méthodes Moindres carrés : cas continu

On remplace dans (1.10) et on obtient alors :

𝑃𝑃(𝑡𝑡) 𝜙𝜙(𝑡𝑡) 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡) 𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡)

𝜃𝜃̇ = �𝛽𝛽 𝑃𝑃(𝑡𝑡) − 2
� 𝑃𝑃(𝑡𝑡)−1 𝜃𝜃(𝑡𝑡) + 𝑃𝑃(𝑡𝑡) �−𝛽𝛽 𝑃𝑃(𝑡𝑡)−1 𝜃𝜃(𝑡𝑡) + �
𝑚𝑚 𝑚𝑚2

𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡)
= −𝑃𝑃(𝑡𝑡) � 2
� 𝜃𝜃(𝑡𝑡) + 𝑃𝑃(𝑡𝑡)
𝑚𝑚 𝑚𝑚2

[𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃(𝑡𝑡)] 𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡)

= 𝑃𝑃(𝑡𝑡) �−𝜙𝜙(𝑡𝑡) + �
𝑚𝑚2 𝑚𝑚2

𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡) [𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃(𝑡𝑡)]

= 𝑃𝑃(𝑡𝑡) � − 𝜙𝜙(𝑡𝑡)�
𝑚𝑚2 𝑚𝑚2

𝑦𝑦(𝑡𝑡) − 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃(𝑡𝑡)

= 𝑃𝑃(𝑡𝑡) � � 𝜙𝜙(𝑡𝑡)
𝑚𝑚2

𝜃𝜃̇ (𝑡𝑡) = 𝑃𝑃(𝑡𝑡) 𝜉𝜉(𝑡𝑡) 𝜙𝜙(𝑡𝑡) (1.11)

L’algorithme des moindres carrés récursif avec facteur d'oubli est donc le suivant :

𝜃𝜃̇ (𝑡𝑡) = 𝑃𝑃(𝑡𝑡) 𝜉𝜉(𝑡𝑡) 𝜙𝜙(𝑡𝑡)

𝜙𝜙 (𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇
�𝑃𝑃̇(𝑡𝑡) = 𝛽𝛽 𝑃𝑃(𝑡𝑡) − 𝑃𝑃(𝑡𝑡) 𝑃𝑃(𝑡𝑡) (1.12)
𝑚𝑚 2
−1
𝑃𝑃(𝑡𝑡 = 0) = 𝑃𝑃(0) = 𝑄𝑄0

4. Différentes déclinaisons de l’algorithme des moindres carrés

4.1 Algorithme des moindres carrés pur
Dans la littérature de l’identification, lorsque le facteur d’oublie est pris nul (𝛽𝛽 = 0),
l’algorithme précédent (1.12) est appelé algorithme des Moindres carrés pur. Il a une forme
très similaire à celle du filtre de KALMAN [1]. Pour cette raison, la matrice 𝑃𝑃 est
généralement appelé la matrice de covariance.
𝜃𝜃̇(𝑡𝑡) = 𝑃𝑃(𝑡𝑡) 𝜉𝜉(𝑡𝑡) 𝜙𝜙(𝑡𝑡)
𝑇𝑇
� 𝑃𝑃̇(𝑡𝑡) = −𝑃𝑃(𝑡𝑡) 𝜙𝜙(𝑡𝑡)𝜙𝜙2(𝑡𝑡) 𝑃𝑃(𝑡𝑡) (1.13)
𝑚𝑚
𝑃𝑃(0) = 𝑃𝑃0
On peut étudier aisément l’évolution de la matrice 𝑃𝑃 et ce en considérant son
𝜙𝜙 (𝑡𝑡) 𝜙𝜙(𝑡𝑡) 𝑇𝑇
inverse. En effet, on peut montrer que 𝑃𝑃̇−1 (𝑡𝑡) = ; ceci implique que Ṗ −1 ≥ 0 et
𝑚𝑚 2

donc la matrice 𝑃𝑃−1 est croissante et peut prendre de très grandes valeurs. Dans ce cas, la
matrice 𝑃𝑃 peut devenir arbitrairement petite et par conséquent alourdi l’adaptation dans

11
Chapitre I Méthodes Moindres carrés : cas continu

[4]. Une manière d'éviter cette complication est de modifier l’algorithme des moindres carrés
comme suit:
𝜃𝜃̇ = 𝑃𝑃(𝑡𝑡)𝜉𝜉(𝑡𝑡)𝜙𝜙(𝑡𝑡)
� 𝜙𝜙(𝑡𝑡)𝜙𝜙 𝑇𝑇 (𝑡𝑡)
𝑃𝑃̇ = �𝛽𝛽𝑃𝑃(𝑡𝑡) − 𝑃𝑃(𝑡𝑡) 𝑚𝑚 2
𝑃𝑃(𝑡𝑡) et ‖𝑃𝑃(𝑡𝑡)‖ ≤ ℛ0 (1.17)
0 Ailleur

𝑃𝑃(0) = 𝑃𝑃0 = 𝑃𝑃0𝑇𝑇 > 0

Où : �
‖𝑃𝑃0 ‖ ≤ ℛ0

ℛ0 est une matrice constante qui sert comme une limite supérieure pour ‖𝑃𝑃 ‖. Ceci garantit
que 𝑃𝑃(𝑡𝑡) ∈ ℒ∞ et elle est désigné sous le nom Moindres carrés modifié avec facteur d'oubli.
Cette nouvelle version garantit les mêmes propriétés que la version dite Moindres carrés pures
avec réinitialisation. Ils peuvent être établis en utilisant a même fonction Lyaponov
𝑑𝑑𝑃𝑃 −1 𝑑𝑑𝑃𝑃 −1
précédente et l’identité = −𝑃𝑃−1 𝑃𝑃̇𝑃𝑃−1 . En établie que 𝑑𝑑𝑑𝑑 et 𝑉𝑉̇ sont par :
𝑑𝑑𝑑𝑑
𝑇𝑇
𝑑𝑑𝑃𝑃−1 −1
𝜙𝜙𝜙𝜙
=�−𝛽𝛽𝑃𝑃 + Si ‖𝑃𝑃‖ ≤ ℛ0
𝑑𝑑𝑑𝑑 𝑚𝑚2
0 Ailleurs
Où 𝑃𝑃 −1 (0)
= 𝑃𝑃0−1 , qui conduit à :
𝜉𝜉 2 𝑚𝑚2 𝛽𝛽 𝑇𝑇 −1
− 𝜃𝜃� 𝑃𝑃 𝜃𝜃� si ‖𝑃𝑃‖ ≤ ℛ0
𝑉𝑉̇ = �− 2 2
−𝜉𝜉 2 𝑚𝑚2 Ailleur
𝜉𝜉 2 𝑚𝑚 2
Puisque 𝑃𝑃(𝑡𝑡) est bornée et définie positif et que 𝑉𝑉̇ ≤ − ≤ 0, alors 𝜉𝜉m, 𝜉𝜉 ∈ ℒ2 . Le
2

reste de l'analyse est exactement la même que dans la démonstration du théorème 2.

4.4 Algorithme des Moindres carrés avec facteur d’oubli et PE

Les modifications décrites ci-dessus ne sont pas nécessaires lorsque ns , ϕ ∈ ℒ∞ et ϕ
est PE [1]. La propriété PE de ϕ garantit que sur un intervalle de temps, l'intégrale de
𝑃𝑃𝑃𝑃 𝜙𝜙 𝑇𝑇 𝑃𝑃
− 𝑚𝑚 2
est une matrice définie négative qui contrecarre l'effet du terme définie positif 𝛽𝛽𝛽𝛽 où

𝛽𝛽 > 0 dans l’équation de P et garantit que 𝑃𝑃 ∈ ℒ∞ .

Preuve
Si ns , ϕ ∈ ℒ∞ et ϕ est PE alors l’algorithme des moindres carrés récursif avec facteur d'oubli
𝛽𝛽 > 0 donnée par

16
Chapitre I Méthodes Moindres carrés : cas continu

𝜃𝜃̇ = 𝑃𝑃(𝑡𝑡)𝜉𝜉(𝑡𝑡)𝜙𝜙(𝑡𝑡)
� 𝜙𝜙 (𝑡𝑡)𝜙𝜙 𝑇𝑇 (𝑡𝑡) (1.18)
𝑃𝑃̇ = 𝛽𝛽𝛽𝛽 − 𝑃𝑃(𝑡𝑡) 2
𝑃𝑃(𝑡𝑡) , 𝑃𝑃(0) = 𝑃𝑃0 = 𝑄𝑄0−1
𝑚𝑚

Garanti que 𝑃𝑃, 𝑃𝑃−1 ∈ ℒ∞ et que 𝜃𝜃(𝑡𝑡) converge exponentiellement vers 𝜃𝜃 ∗

L'utilisation de l’algorithme récursif des moindres carrés avec facteur d'oubli
ϕ ∈ ℒ∞ Et ϕ PE est plus appropriée dans le cas où l'estimation des paramètres constitue
l'objectif principal et ce pour les systèmes stable.

5. Exemple d’application (filtre RC)

On considère le circuit électrique suivant. La relation mathématique liant la tension de sortie
y(t) à celle de l'entrée 𝑢𝑢(𝑡𝑡)peut être trouvée en écrivant l'équation différentielle régissant le
circuit :

R
𝑢𝑢(𝑡𝑡) C y(t)

L’équation de circuit RC est comme suit :

𝑑𝑑y
𝑢𝑢 = 𝑅𝑅𝑅𝑅 𝑑𝑑𝑑𝑑 + y (1.19)

𝑑𝑑y 1 1
= 𝑢𝑢 − y (1.20)
𝑑𝑑𝑑𝑑 𝑅𝑅𝑅𝑅 𝑅𝑅𝑅𝑅

Pour éviter la dérivation le modèle précédent est modifié en ajoutant des deux côtés de
l’égalité précédente la quantité suivante : 𝜆𝜆𝜆𝜆
𝑑𝑑𝑑𝑑 1 1
+ 𝜆𝜆 𝑦𝑦 = − 𝑦𝑦 + 𝑢𝑢 + 𝜆𝜆 𝑦𝑦 (1.21)
𝑑𝑑𝑑𝑑 𝑅𝑅𝑅𝑅 𝑅𝑅𝑅𝑅

On arrange les termes semblables :

𝑑𝑑 1 1
� + 𝜆𝜆� 𝑦𝑦 = [𝜆𝜆 − ]𝑦𝑦 + 𝑢𝑢
𝑑𝑑𝑑𝑑 𝑅𝑅𝑅𝑅 𝑅𝑅𝑅𝑅
Apres l’arrangement :
1 1 1 1
𝑦𝑦(𝑡𝑡) = �𝜆𝜆 − � 𝑦𝑦(𝑡𝑡) + 𝑢𝑢(𝑡𝑡)
𝑅𝑅𝑅𝑅 (𝑆𝑆 + 𝜆𝜆) 𝑅𝑅𝑅𝑅 (𝑆𝑆 + 𝜆𝜆)

On obtient alors le modèle paramétrique linéaire modifié suivant :𝑦𝑦 = 𝜃𝜃 𝑇𝑇 𝜙𝜙

17
Chapitre I Méthodes Moindres carrés : cas continu

1 1 𝑇𝑇
Où 𝜃𝜃 est le vecteur paramètres donné part : 𝜃𝜃 = [𝜃𝜃1 𝜃𝜃2 ]𝑇𝑇 = �𝜆𝜆 − �
𝑅𝑅𝑅𝑅 𝑅𝑅𝑅𝑅

Et ∅ est le vecteur des signaux filtrés :

𝑇𝑇
1 1
𝜙𝜙(𝑡𝑡) = � 𝑦𝑦(𝑡𝑡) 𝑢𝑢(𝑡𝑡)�
(𝑆𝑆 + 𝜆𝜆) (𝑆𝑆 + 𝜆𝜆)
1
Où (𝑆𝑆+𝜆𝜆)
est un filtre stable tel que 𝜆𝜆 > 0.

Pour le circuit (filtre RC) donnée ci haut avec R=50 Ω et C= 200𝜇𝜇𝜇𝜇 ; on réalise la
simulation de l’algorithme des moindres carré avec les paramètres suivant : Pi=0.1 et B=0,
L0=0.5, 𝜃𝜃(0) = [0 ,0] . Les résultats obtenu pour ces paramètres sont données par les figures
ces dessous.

Simulation 1 : (Entrer constante U=1)

Fig. 1.1 - Sorties du système et du modèle.

18
Chapitre I Méthodes Moindres carrés : cas continu

Fig. 1.2 – les paramètres estimés

La Fig. 1.1 représente les deux sorties, la sortie du système réel et celle du modèle.
On peut constater que la sortie du modèle suit la sortie du système réel, il le suit
asymptotiquement.
Les paramètres correspondante a ces sortie sont donnée par la Fig. 2.2. En effet en
constate que ces paramètres elle est bornée et qui ne divergent pas.

6. Conclusion
Dans ce chapitre, nous avons présenté l’algorithme des moindres carrés. En effet, on a
présenté le développement mathématique de cet algorithme avec l’étude de convergence des
différents signaux. Cette étude montre que l’algorithme est applicable aux systèmes stable ou
non. Les différentes déclinaisons de cet algorithme ont étés présentées. Nous avons
implémenté l’algorithme «des moindres carré pur» au système électrique simple «Filtre RC».

19
Chapitre II Méthode Moindres carrés : cas discret

1. Introduction:

L’objectif de ce chapitre est de présenter l’algorithme d'identification dit des moindres

carrés dans le cadre de la représentation discrète des systèmes mono entrée mono sortie
(SISO).

2. Norme [1] [8] : pour les séquences discrètes nous définissons la norme ℓ𝑝𝑝 comme
suit :

∞ 1⁄𝑝𝑝

‖𝑥𝑥‖𝑝𝑝 ≜ ��|𝑥𝑥𝑖𝑖 �|𝑝𝑝 , 1 ≤ 𝑝𝑝 < ∞

𝑖𝑖=1

Et la norme ℓ∞ :

‖𝑥𝑥‖∞ ≜ 𝑠𝑠𝑠𝑠𝑠𝑠|𝑥𝑥𝑖𝑖 |
𝑖𝑖≥1

Où 𝑥𝑥 = (𝑥𝑥1 , 𝑥𝑥2 , . . . ) et 𝑥𝑥𝑖𝑖 ∈ ℛ. Nous disons que 𝑥𝑥 ∈ ℓ𝑝𝑝 ( respectivement 𝑥𝑥 ∈ ℓ∞ ) si ‖𝑥𝑥‖𝑝𝑝

(respectivement‖𝑥𝑥‖∞ ) existe.

3. Modèle par l’identification

3.1. Modèle ARMA

Le modèle ARMA (Auto Regressive Moving Average) est un modèle régressive qui
contient une entrée et un bruit 𝜀𝜀(𝑡𝑡) qui perturbe la sortie [13] [14].Le système à identifier
évolue sous l’effet d’une entrer de commande u(t) et d’une perturbation 𝜀𝜀(𝑡𝑡) celle-ci peut
affecter l’entrée, la sortie ou un autre état du système et cela peut être représenté par la figure
ci dessus

𝜀𝜀(𝑡𝑡)

𝑢𝑢(𝑡𝑡) Système à 𝑦𝑦(𝑡𝑡)

identifier

Figure.2.1. Le modèle ARMA

20
Chapitre II Méthode Moindres carrés : cas discret

 Le model ARMA (cas idéal 𝜀𝜀 = 0)

On se place dans le contexte temps discret c’est à dire que le temps est 𝑡𝑡 = 0,1,2, … ;Le
système étant supposé linéaire et stationnaire on peut donc le représenter par un modèle de la
forme :

𝑦𝑦(𝑡𝑡) + 𝑎𝑎1 𝑦𝑦(𝑡𝑡 − 1) + ⋯ + 𝑎𝑎𝑛𝑛𝑛𝑛 𝑦𝑦(𝑡𝑡 − 𝑛𝑛𝑎𝑎 ) = 𝑏𝑏1 𝑢𝑢(𝑡𝑡 − 1) + ⋯ + 𝑏𝑏𝑛𝑛𝑛𝑛 𝑢𝑢(𝑡𝑡 − 𝑛𝑛𝑏𝑏 )

Les entiers 𝑛𝑛𝑎𝑎 𝑒𝑒𝑒𝑒 𝑛𝑛𝑏𝑏 𝑑𝑑, les degrés constants définissent la structure du modèle et les
réel 𝑎𝑎𝑖𝑖 , 𝑏𝑏𝑗𝑗 sont les paramètres du modèle [14] .et la forme du modèle Auto Regressive
Moving Average (moyenne mobile) est donné comme suite :

𝐴𝐴(𝑞𝑞 −1 )𝑦𝑦(𝑡𝑡) = 𝐵𝐵(𝑞𝑞 −1 )𝑢𝑢(𝑡𝑡)

Tell que :

• 𝐴𝐴(𝑞𝑞 −1 ) = 1 + 𝑎𝑎𝑛𝑛1 𝑞𝑞 −1 + ⋯ + 𝑎𝑎𝑛𝑛𝑛𝑛 𝑞𝑞 −𝑛𝑛𝑛𝑛

• 𝐵𝐵(𝑞𝑞 −1 ) = 𝑏𝑏1 𝑞𝑞 −1 + ⋯ + 𝑎𝑎𝑛𝑛𝑛𝑛 𝑞𝑞 −𝑛𝑛𝑛𝑛

La forme de régression du modèle ARMA peut se réécrire comme suit :

𝑦𝑦(𝑡𝑡) = 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃 ∗

𝜙𝜙(𝑡𝑡) = [−𝑦𝑦(𝑡𝑡 − 1) … − 𝑦𝑦(𝑡𝑡 − 𝑛𝑛𝑎𝑎 ) 𝑢𝑢(𝑡𝑡 − 𝑑𝑑) … . 𝑢𝑢(𝑡𝑡 − 𝑛𝑛𝑏𝑏 )]𝑇𝑇

𝜃𝜃 ∗ = [𝑎𝑎1 … … . 𝑎𝑎𝑛𝑛𝑛𝑛 𝑏𝑏1 … … . 𝑏𝑏𝑛𝑛𝑛𝑛 ]𝑇𝑇

La forme prédictive de notre système est comme suit

𝑦𝑦� �𝑡𝑡�𝜃𝜃 ∗ , 𝑡𝑡 − 1� = 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃 ∗ = �1 − 𝐴𝐴(𝑞𝑞 −1 )�𝑦𝑦(𝑡𝑡) + 𝐵𝐵(𝑞𝑞 −1 )𝑢𝑢(𝑡𝑡) = 𝑦𝑦(𝑡𝑡)

3.2. Modèle ARMAX

Le modèle ARMAX (Auto Regressive Moving Average with eXogenous input) est un
modèle auto régressif qui inclut des entrées et un bruit blanc de moyenne nulle. Dont 𝜉𝜉(𝑡𝑡)
est une fonction de bruit qui dépend de la manier qu’il affect le système: Dans ce cas on en le
considère comme un bruit blanc qui perturbera la sortie bruité de notre système dont il
permet de modéliser des perturbations non-mesurables dans le modèle; et c’est une suite de
variables aléatoires non-corrélées E (𝜉𝜉(𝑡𝑡) 𝜉𝜉(𝜏𝜏)) = 0 , ∀𝑡𝑡 ≠ 𝜏𝜏 [14] [15].

21
Chapitre II Méthode Moindres carrés : cas discret

Le schéma d’ARMAX et donné par :

𝜉𝜉(𝑡𝑡)

1
𝐴𝐴(𝑞𝑞−1 )

𝐵𝐵�𝑞𝑞−1 �
𝑢𝑢(𝑡𝑡) 𝑦𝑦(𝑡𝑡)
𝐴𝐴(𝑞𝑞−1 )

Figure.2.2. Le modèle ARMAX

Le modèle du système ARMAX donné ci- dessous et comme suit :

𝐴𝐴(𝑞𝑞 −1 )𝑦𝑦(𝑡𝑡) = 𝐵𝐵(𝑞𝑞 −1 )𝑢𝑢(𝑡𝑡) + 𝜉𝜉(𝑡𝑡) (2.1)

 Forme de régression et forme prédicteur du model ARMAX

Définition [14] [15] : on appelle prédicteur optimal de la sortie 𝑦𝑦(𝑡𝑡) , sur la base des
informations disponibles à l’instant 𝑡𝑡 − 1, le nombre réel, noté

𝑦𝑦� �𝑡𝑡�𝜃𝜃 ∗ , 𝑡𝑡 − 1� = 𝑓𝑓(𝜃𝜃 ∗ , 𝑦𝑦(𝑡𝑡 − 1), 𝑦𝑦(𝑡𝑡 − 2), … . . , 𝑢𝑢(𝑡𝑡 − 1), … . )

Qui minimise la variance

𝐸𝐸(𝑦𝑦(𝑡𝑡) − 𝑥𝑥)2 = 𝑔𝑔(𝑥𝑥)

Notation

𝑦𝑦� �𝑡𝑡�𝜃𝜃 ∗ , 𝑡𝑡 − 1� = 𝑎𝑎𝑎𝑎𝑎𝑎 �𝑚𝑚𝑚𝑚𝑚𝑚 𝑔𝑔(𝑥𝑥)�

𝑥𝑥

La forme de régression du modèle (2.1) peut se réécrire comme suit :

𝑦𝑦(𝑡𝑡) = 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃 ∗ + 𝜉𝜉(𝑡𝑡) (2.2)

Tell que : 𝜙𝜙(𝑡𝑡) = [−𝑦𝑦(𝑡𝑡 − 1) … … , −𝑦𝑦(𝑡𝑡 − 𝑛𝑛𝑎𝑎 ) 𝑢𝑢(𝑡𝑡 − 𝑑𝑑), … . −𝑢𝑢(𝑡𝑡 − 𝑛𝑛𝑏𝑏 )]

Et : 𝜃𝜃 ∗ = [𝑎𝑎1 … … . 𝑎𝑎𝑛𝑛𝑛𝑛 𝑏𝑏1 … … . 𝑏𝑏𝑛𝑛𝑛𝑛 ]𝑇𝑇

22
Chapitre II Méthode Moindres carrés : cas discret

La forme prédictive de notre système est comme suit :

𝑦𝑦� �𝑡𝑡�𝜃𝜃 ∗ , 𝑡𝑡 − 1� = 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃 ∗ = �1 − 𝐴𝐴(𝑞𝑞 −1 )�𝑦𝑦(𝑡𝑡) + 𝐵𝐵(𝑞𝑞 −1 )𝑢𝑢(𝑡𝑡) (2.3)

Si on suppose maintenant que l’erreur est généré par un processus a moyenne mobile
comme suit Ԑ(t) = 𝐶𝐶(𝑞𝑞 −1 )𝜉𝜉(𝑡𝑡) Où 𝐶𝐶(𝑞𝑞 −1 ) = 1 + 𝑐𝑐1 𝑞𝑞 −1 + ⋯ + 𝑎𝑎𝑛𝑛𝑛𝑛 𝑞𝑞 −𝑛𝑛𝑛𝑛 est supposé
stable dans ce cas le modèle du notre système devient :

𝐴𝐴(𝑞𝑞 −1 )𝑦𝑦(𝑡𝑡) = 𝐵𝐵(𝑞𝑞 −1 )𝑢𝑢(𝑡𝑡) + 𝐶𝐶(𝑞𝑞 −1 ) 𝜉𝜉(𝑡𝑡)

Prédiction optimale de la sortie est donné par :

𝐵𝐵(𝑞𝑞 −1 ) 𝐴𝐴(𝑞𝑞 −1 )
𝑦𝑦� �𝑡𝑡�𝜃𝜃 ∗ , 𝑡𝑡 − 1� = 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃 ∗ = 𝑢𝑢(𝑡𝑡) + �1 − � 𝑦𝑦(𝑡𝑡)
𝐶𝐶(𝑞𝑞 −1 ) 𝐶𝐶(𝑞𝑞 −1 )
Ou 𝜃𝜃 ∗ définé par 𝜃𝜃 ∗ = [𝑎𝑎1 … … . 𝑎𝑎𝑛𝑛𝑛𝑛 𝑏𝑏1 … … . 𝑏𝑏𝑛𝑛𝑛𝑛 𝑐𝑐1 … … . 𝑐𝑐𝑛𝑛𝑛𝑛 ]𝑇𝑇

4. Identification par la méthode MC

Pour l’identification par cette méthode en utilisera aussi la minimisation de la fonction

convexe qui permet de déterminer les meilleurs paramètres tels que la sortie du modèle
converge vers celle du système réel. Ce critère est en fonction de l’écart entre la sortie du
système et celle du modèle [6][7]. Le critère à minimiser est la fonction de coût donnée
comme suit :

𝐽𝐽(𝑥𝑥) = ∑𝑡𝑡𝑖𝑖=1(𝑦𝑦(𝑖𝑖) − 𝜙𝜙(𝑖𝑖)𝑇𝑇 𝑥𝑥)2 (2.4)

Tel que : 𝑥𝑥 ∈ ℛ 2𝑛𝑛 est le vecteur estimé et où 𝑦𝑦 𝑒𝑒𝑒𝑒 𝑦𝑦 ∗ sont générés selon la régression :

𝑦𝑦(𝑡𝑡) = 𝜙𝜙 𝑇𝑇 (𝑡𝑡)𝜃𝜃 ∗ (2.5)

𝑦𝑦 ∗ (𝑡𝑡) = 𝜙𝜙 𝑇𝑇 (𝑡𝑡) 𝑥𝑥

𝜃𝜃 ∗ ∈ ℛ 2𝑛𝑛 le vecteur des vrais paramètres inconnu. La meilleure estimation 𝜃𝜃�(𝑡𝑡) de 𝜃𝜃 ∗ à

l’instant 𝑡𝑡 est :

𝜃𝜃� (𝑡𝑡) = 𝑎𝑎𝑎𝑎𝑎𝑎 �min 𝐽𝐽(𝑥𝑥)�

𝑥𝑥

23
Chapitre II Méthode Moindres carrés : cas discret

4.1. Algorithme des Moindres Carrés non récursif

L’algorithme des moindres carrés non récursif dans le cas discret est obtenu à partir de la
minimisation de la fonction convexe comme suit :

𝑑𝑑𝑑𝑑(𝑥𝑥)
=0
𝑑𝑑𝑑𝑑

𝑡𝑡
𝑑𝑑𝑑𝑑(𝑥𝑥)
= −2 � 𝜙𝜙(𝑖𝑖)[𝑦𝑦(𝑖𝑖) − 𝑥𝑥 𝑇𝑇 𝜙𝜙(𝑖𝑖)] = 0
𝑑𝑑𝑑𝑑
𝑖𝑖=1

𝑡𝑡 𝑡𝑡

� 𝑦𝑦(𝑖𝑖)𝜙𝜙(𝑖𝑖) = �� 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑡𝑡)𝑇𝑇 � 𝑥𝑥

𝑖𝑖=1 𝑖𝑖=1

𝑡𝑡 −1 𝑡𝑡

𝑥𝑥 = �� 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑡𝑡)𝑇𝑇 � � 𝑦𝑦(𝑖𝑖)𝜙𝜙(𝑖𝑖)

𝑖𝑖=1 𝑖𝑖=1

En note que 𝑥𝑥 = 𝜃𝜃�(𝑡𝑡) le vecteur estimé

𝜃𝜃�(𝑡𝑡) = [∑𝑡𝑡𝑖𝑖=1 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑡𝑡)𝑇𝑇 ]−1 ∑𝑡𝑡𝑖𝑖=1 𝑦𝑦(𝑖𝑖)𝜙𝜙(𝑖𝑖) (2.6)

Cette dernière relation n’est possible que si la matrice ∑𝑡𝑡𝑖𝑖=1 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑡𝑡)𝑇𝑇 est inversible.
Il s’avère qu’en effet cette dernière est inversible ; ceci peut être montré facilement en
considérant que la fonction de coût 𝐽𝐽(𝑥𝑥) est convexe d’une part, et d’autre part sachant que la
deuxième dérivée d’une fonction convexe est positive. La seconde dérivée de 𝐽𝐽(𝑥𝑥) est comme
suit :
𝑡𝑡
𝑑𝑑 2 𝐽𝐽(𝜃𝜃)
= 2 � 𝜙𝜙(𝑖𝑖)𝜙𝜙(𝑖𝑖)𝑇𝑇 > 0
𝑑𝑑𝑑𝑑 2
𝑖𝑖=1

D’où la matrice ∑𝑡𝑡𝑖𝑖=1 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑡𝑡)𝑇𝑇 est définie positive et donc inversible.

L’algorithme des MC non récursif est caractérisé par les propriétés données par le
théorème suivant :

24
Chapitre II Méthode Moindres carrés : cas discret

Théorème.

𝑡𝑡
1. S’il existe un instant 𝑡𝑡0 , tel que : ∑𝑖𝑖=1
0
𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑡𝑡)𝑇𝑇 ≥ 𝛼𝛼𝛼𝛼 > 0 (2.7)
Alors 𝜃𝜃�(𝑡𝑡) = 𝜃𝜃 ∗ ∀𝑡𝑡 ≥ 𝑡𝑡0
1
2. Si 𝑙𝑙𝑙𝑙𝑙𝑙𝑡𝑡→∞ 𝑡𝑡 ∑𝑡𝑡𝑖𝑖=1 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑡𝑡)𝑇𝑇 > 0 Alors : 𝑙𝑙𝑙𝑙𝑙𝑙𝑡𝑡→∞ 𝜃𝜃�(𝑡𝑡) = 𝜃𝜃 ∗ (2.8)

Preuve :

En multipliant les deux cotés de l’équation (2.5) par 𝜙𝜙(𝑡𝑡) à gauche on obtient :

𝜙𝜙(𝑡𝑡) 𝑦𝑦(𝑡𝑡) = 𝜙𝜙(𝑡𝑡) 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃 ∗

D’où la somme suivante :

𝑡𝑡 𝑡𝑡

� 𝜙𝜙(𝑖𝑖) 𝑦𝑦(𝑖𝑖) = �� 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 � 𝜃𝜃 ∗ (2.9)

𝑖𝑖=1 𝑖𝑖=1

1) si (2.7) est satisfaite, alors de (2.9) on aura :

𝑡𝑡 −1 𝑡𝑡

𝜃𝜃 ∗ = �� 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 � �� 𝜙𝜙(𝑖𝑖) 𝑦𝑦(𝑖𝑖)� = 𝜃𝜃�(𝑡𝑡) ∀𝑡𝑡 ≥ 𝑡𝑡0

𝑖𝑖=1 𝑖𝑖=1

En effet, (2.7) assure que l’inverse existe pour 𝑡𝑡 ≥ 𝑡𝑡0

2) si la condition(2.8) est vérifiée, l’équation (2.9) ce réécrit sous la forme :

𝑡𝑡 𝑡𝑡 𝑡𝑡 −1 𝑡𝑡
1 1 1 1
� 𝜙𝜙(𝑖𝑖) 𝑦𝑦(𝑖𝑖) = � � 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 � 𝜃𝜃 ∗ ⟹ 𝜃𝜃 ∗ = � � 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 � � � 𝜙𝜙(𝑖𝑖) 𝑦𝑦(𝑖𝑖)�
𝑡𝑡 𝑡𝑡 𝑡𝑡 𝑡𝑡
𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1

𝑡𝑡 −1 𝑡𝑡 𝑡𝑡 −1 𝑡𝑡
1 1
𝜃𝜃�(𝑡𝑡) = �� 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 � � 𝑦𝑦(𝑖𝑖)𝜙𝜙(𝑖𝑖) ⟹ 𝜃𝜃� (𝑡𝑡) = � � 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 � � � 𝜙𝜙(𝑖𝑖) 𝑦𝑦(𝑖𝑖)�
𝑡𝑡 𝑡𝑡
𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1

De ces deux équations, on conclut que pour t suffisamment grand on a : 𝜃𝜃�(𝑡𝑡) = 𝜃𝜃 ∗ .

Remarque

Si {𝜙𝜙(𝑖𝑖)} effectue un balayage persistant alors (2.7) et (2.8) sont satisfaites (et
l’inverse n’est pas forcément vrai).

25
Chapitre II Méthode Moindres carrés : cas discret

4.2. Algorithme des Moindres carrés récursif

L algorithme des MC récursif est obtenu à partir de la version non récursive et ce en

réalisant les manipulations suivantes. Posons tout d’abord que:

𝑡𝑡 −1

𝑃𝑃(𝑡𝑡) = �� 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 � (2.10)

𝑖𝑖=1

Donc (2.6) se réécrit sous la forme:

𝑡𝑡

𝑃𝑃(𝑡𝑡)−1 𝜃𝜃�(𝑡𝑡) = � 𝑦𝑦(𝑖𝑖)𝜙𝜙(𝑖𝑖) (2.11)

𝑖𝑖=1

Ecrivons maintenant l’équation (2.11) à l’instant (𝑡𝑡 − 1) :

𝑡𝑡

𝑃𝑃(𝑡𝑡 − 1) 𝜃𝜃�(𝑡𝑡 − 1) = � 𝑦𝑦(𝑖𝑖)𝜙𝜙(𝑖𝑖)

−1
(2.12)
𝑖𝑖=1

Dans ce cas l’équation (2.11) peut être réécrite en fonction de l’équation (2.12) :

𝑃𝑃(𝑡𝑡)−1 𝜃𝜃�(𝑡𝑡) = 𝑃𝑃(𝑡𝑡 − 1)−1 𝜃𝜃�(𝑡𝑡 − 1) + 𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡)

= 𝑃𝑃(𝑡𝑡 − 1)−1 𝜃𝜃�(𝑡𝑡 − 1) + 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃�(𝑡𝑡 − 1) − 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃�(𝑡𝑡 − 1) + 𝑦𝑦(𝑡𝑡)𝜙𝜙(𝑡𝑡)

= [𝑃𝑃(𝑡𝑡 − 1)−1 + 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 ]𝜃𝜃�(𝑡𝑡 − 1) + 𝜙𝜙(𝑡𝑡)�𝑦𝑦(𝑡𝑡) − 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃�(𝑡𝑡 − 1)�

D’où :

𝑃𝑃(𝑡𝑡)−1 𝜃𝜃�(𝑡𝑡) = 𝑃𝑃(𝑡𝑡)−1 𝜃𝜃�(𝑡𝑡 − 1) + 𝜙𝜙(𝑡𝑡)𝑒𝑒(𝑡𝑡) (2.13)

En multipliant par 𝑃𝑃(𝑡𝑡) on trouve finalement l’écriture récursive de l’estimation donnée par :

𝜃𝜃�(𝑡𝑡) = 𝜃𝜃� (𝑡𝑡 − 1) + 𝑃𝑃(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑒𝑒(𝑡𝑡) (2.14)

Pour le calcul de la matrice de covariance 𝑃𝑃(𝑡𝑡) on utilise le lemme d’inversion matricielle .

Lemme [11]: Soient les matrices 𝐴𝐴 ∈ ℛ 𝑛𝑛∗𝑛𝑛 , 𝐵𝐵 ∈ ℛ 𝑛𝑛∗𝑚𝑚 et 𝐶𝐶 ∈ ℛ 𝑚𝑚 ∗𝑛𝑛 Alors :

26
Chapitre II Méthode Moindres carrés : cas discret

[𝐴𝐴 + 𝐵𝐵𝐵𝐵]−1 = 𝐴𝐴−1 − 𝐴𝐴−1 𝐵𝐵[𝐼𝐼 + 𝐶𝐶𝐴𝐴−1 𝐵𝐵]−1 𝐶𝐶𝐴𝐴−1

En appliquant ce lemme à l’équation 𝑃𝑃(𝑡𝑡) = [𝑃𝑃(𝑡𝑡 − 1)−1 + 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 ]−1 et ce avec

𝐴𝐴 = 𝑃𝑃(𝑡𝑡 − 1)−1 ; 𝐵𝐵 = 𝜙𝜙(𝑡𝑡); 𝐶𝐶 = 𝜙𝜙(𝑡𝑡)𝑇𝑇 on trouve :

[𝑃𝑃(𝑡𝑡 − 1)−1 + 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 ]−1

= 𝑃𝑃(𝑡𝑡 − 1) − 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)[1 + 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)]−1 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)

On trouve enfin la relation récursive suivante pour 𝑃𝑃(𝑡𝑡):

𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)

𝑃𝑃(𝑡𝑡) = 𝑃𝑃(𝑡𝑡 − 1) − (2.15)
1 + 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)

Multipliant maintenant les deux cotés de l’équation(2.15) par 𝜙𝜙(𝑡𝑡) à droite :

𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)[𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)]

𝑃𝑃(𝑡𝑡)𝜙𝜙(𝑡𝑡) = 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡) −
1 + 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)

Après arrangent on a :

𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)
𝑃𝑃(𝑡𝑡)𝜙𝜙(𝑡𝑡) = (2.16)
1 + 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)

En remplace (2.16) dans (2.14) et on obtient finalement la forme récursive de

l’estimateur des moindres carrés :

𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡) 𝑒𝑒(𝑡𝑡)

⎧𝜃𝜃�(𝑡𝑡) = 𝜃𝜃� (𝑡𝑡 − 1) + (2.17. 𝑎𝑎)
⎪ 1 + 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)
𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)
⎨𝑃𝑃(𝑡𝑡) = 𝑃𝑃(𝑡𝑡 − 1) − 1 + 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝑃𝑃(𝑡𝑡 − 1)𝜙𝜙(𝑡𝑡) (2.17. 𝑏𝑏)
⎪
⎩ 𝑒𝑒(𝑡𝑡) = 𝜙𝜙(𝑡𝑡)�𝑦𝑦(𝑡𝑡) − 𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜃𝜃�(𝑡𝑡 − 1)� (2.17. 𝑐𝑐)

 initiation

� (0) = 𝜃𝜃0 ; 𝑃𝑃(0) = 𝑃𝑃0 , telle que 𝜃𝜃0 est choisi en

Pour l’initialisation on prend 𝜃𝜃
tenant compte des informations disponibles, a priori, sur 𝜃𝜃 ∗ . Si on dispose d’aucune
information alors on prend 𝜃𝜃0 = 0 . Le choix de 𝑃𝑃0 peut être clarifié en considérant le
développent suivant :

𝑃𝑃(𝑡𝑡) = [𝑃𝑃(𝑡𝑡 − 1)−1 + 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 ]−1

27
Chapitre II Méthode Moindres carrés : cas discret

 𝑃𝑃(𝑡𝑡)−1 = 𝑃𝑃(𝑡𝑡 − 1)−1 + 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 (2.18)

𝑡𝑡
−1 −1
𝑃𝑃(𝑡𝑡) = 𝑃𝑃(0) + � 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇
𝑖𝑖=1

𝑡𝑡

𝑃𝑃(𝑡𝑡) −1
= 𝑃𝑃0−1 + � 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇 (2.19)
𝑖𝑖=1

Pour que cette algorithme donne lieu à la vrai valeur de 𝑃𝑃(𝑡𝑡)−1 , il faut que 𝑃𝑃0−1 soit très
1
petit. Alors on le choisit comme suit 𝑃𝑃0−1 = 𝛼𝛼
𝐼𝐼 . Ou 𝛼𝛼 >> 1 soit 𝛼𝛼 = 102 , 103 ….

 Propriété de l’estimateur des moindres carrés récursifs

Théorème.

𝜆𝜆 (𝑃𝑃−1 )
1) �𝜃𝜃�(𝑡𝑡) − 𝜃𝜃 ∗ � ≤ 𝐾𝐾�𝜃𝜃�(0) − 𝜃𝜃 ∗ � Ou 𝐾𝐾 = 𝑚𝑚𝑚𝑚𝑚𝑚 0 �
𝜆𝜆𝑚𝑚𝑚𝑚𝑚𝑚 (𝑃𝑃0−1 )

𝑒𝑒(𝑡𝑡)
2) � � ∈ ℓ2
�1+𝜙𝜙(𝑡𝑡)𝑇𝑇 𝜙𝜙 (𝑡𝑡)

3) �𝜃𝜃�(𝑡𝑡)� converge (pas forcément vers 𝜃𝜃 ∗

4) Si {𝜙𝜙(𝑡𝑡)} effectue un balayage persistant alors il peu converger vers 𝜃𝜃 ∗

5. Différentes déclinaisons

L’adaptation paramétrique par l’algorithme des MCR (2.17. 𝑎𝑎 − 𝑐𝑐) s’arrête dés que la
matrice de gain 𝑃𝑃(𝑡𝑡) tende vers zéro ( 𝑃𝑃(𝑡𝑡) ≈ 0); Or c’est précisément ce qui se passe en
présence de la condition d’excitation persistante PE [9][10]. En effet, si {𝜙𝜙(𝑡𝑡)} effectue un
balayage persistant et à partir de 𝑃𝑃(𝑡𝑡)−1 = 𝑃𝑃(𝑡𝑡 − 1)−1 + 𝜙𝜙(𝑡𝑡)𝜙𝜙(𝑡𝑡)𝑇𝑇 on peur écrire :

𝑘𝑘𝑘𝑘
−1 −1
𝑃𝑃(𝑘𝑘𝑁𝑁) = 𝑃𝑃(0) + � 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖)𝑇𝑇
𝑖𝑖=1

𝑘𝑘 (𝑗𝑗 +1)𝑁𝑁 𝑘𝑘
−1 𝑇𝑇 −1
= 𝑃𝑃(0) + � � 𝜙𝜙(𝑖𝑖) 𝜙𝜙(𝑖𝑖) ≥ 𝑃𝑃(0) + � 𝛼𝛼𝛼𝛼 ≥ 𝑘𝑘𝑘𝑘𝑘𝑘
𝑗𝑗 =1 𝑖𝑖=𝑗𝑗𝑗𝑗 𝑗𝑗 =1

1
Se qui implique que 𝑃𝑃(𝑘𝑘𝑘𝑘) ≤ 𝐾𝐾𝐾𝐾
𝐼𝐼, d’où 𝑃𝑃(𝑘𝑘𝑘𝑘) → 0 quant 𝑘𝑘 → ∞ ;

28
Chapitre II Méthode Moindres carrés : cas discret

6. Exemple d’application (filtre RC)

On considère le circuit électrique suivant. En admettant que les paramètres 𝑅𝑅 𝑒𝑒𝑒𝑒 𝐶𝐶

soient constants, la relation mathématique liant la tension de sortie 𝑈𝑈𝐶𝐶 (𝑡𝑡) à celle d'entrée 𝑈𝑈(𝑡𝑡)
peut être trouvée en écrivant l'équation différentielle régissant le circuit :

R
U (t) C UC(t)

L’équation de ce circuit est donné par :

𝑑𝑑𝑈𝑈𝐶𝐶
𝑈𝑈 = 𝑅𝑅𝑅𝑅 𝑑𝑑𝑑𝑑
+ 𝑈𝑈𝐶𝐶 (2.31)

1 𝑑𝑑𝑈𝑈𝐶𝐶 1
𝑈𝑈 = + 𝑈𝑈 (2.32)
𝑅𝑅𝑅𝑅 𝑑𝑑𝑑𝑑 𝑅𝑅𝑅𝑅 𝐶𝐶

On applique la transformer de Laplace à l’équation (3.32)

1 1
𝑅𝑅𝑅𝑅
𝑈𝑈(𝑆𝑆) = 𝑆𝑆𝑆𝑆𝐶𝐶 (𝑆𝑆) + 𝑅𝑅𝑅𝑅 𝑈𝑈𝐶𝐶 (𝑆𝑆) (2.33)

1
U C (S)
= RC
1 (2.34)
U(S) S+
RC

On applique la transformer en z à l’équation (2.34)

𝑘𝑘 𝑇𝑇𝑇𝑇 𝑘𝑘𝑘𝑘
�⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯�
𝑆𝑆 + 𝑘𝑘 𝑍𝑍 − 𝑒𝑒 −𝑘𝑘𝑘𝑘

1 1
𝑇𝑇𝑇𝑇
𝑅𝑅𝑅𝑅 �⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯� 𝑍𝑍
𝑅𝑅𝑅𝑅
1 1
𝑆𝑆 + 𝑅𝑅𝑅𝑅 𝑍𝑍 − 𝑒𝑒 −𝑅𝑅𝑅𝑅 𝑇𝑇

UC (Z) 𝑎𝑎𝑎𝑎
=
U(Z) 𝑍𝑍 − 𝑒𝑒 −𝑎𝑎𝑎𝑎

UC (Z)(𝑍𝑍 − 𝑒𝑒 −𝑎𝑎𝑎𝑎 ) = 𝑎𝑎𝑎𝑎U(Z)

34
Chapitre II Méthode Moindres carrés : cas discret

𝑍𝑍UC (Z) − UC (Z)𝑒𝑒 −𝑎𝑎𝑎𝑎 = 𝑎𝑎𝑎𝑎U(Z)

1
UC (Z) = U (Z)𝑒𝑒 −𝑎𝑎𝑎𝑎 + 𝑎𝑎U(Z)
𝑍𝑍 C

UC (Z) = 𝑍𝑍 −1 UC (Z)𝑒𝑒 −𝑎𝑎𝑎𝑎 + 𝑎𝑎U(Z)

UC (k) = 𝑒𝑒 −𝑎𝑎𝑎𝑎 UC (k − 1) + 𝑎𝑎U(k)

UC (k) = 𝑏𝑏UC (k − 1) + 𝑎𝑎U(k)

1
𝑏𝑏 = 𝑒𝑒 −𝑅𝑅𝑅𝑅 𝑇𝑇 sont les paramètres à identifier.
1
Avec 𝑎𝑎 = 𝑅𝑅𝑅𝑅 et

Pour le circuit (filtre RC) donnée ci haut avec R=50Ω et C=200𝜇𝜇𝜇𝜇 ; on réalise la
simulation de l’algorithme des moindres carré avec les paramètres suivant : 𝜃𝜃(0) = [𝜃𝜃1 𝜃𝜃2 ] =
[0.2 0.2], Pi=0.1 et B=2, L0=0.5 ; les résultats obtenu pour ces paramètres sont données par
les figures ces dessous ; en premier lieux, on prend une entrée constante ; en second on
prendra une entrée constante avec une variation de paramètre.

Simulation 1(Entrée constante):

Fig. 2.3 - Sorties du système et du modèle

35
Chapitre II Méthode Moindres carrés : cas discret

Fig. 2.4 – les paramètres estimés

La Fig. 2.3 représente la sortie du système réel et celle du modèle. On peut constater
de cette figure que la sortie du modèle suit parfaitement la variation de la sortie du système
réel.
Les paramètres correspondants a ces sortie sont donnée par la Fig. 2.4. En effet dans
cette dernière on déduit que ces paramètres sont bornées et qu’il ne divergent pas.

Simulation2 (Entrée variable avec variation de paramètre) :

Dans cette deuxième simulation on fait le test d’une entrée variable. Pour ce faire on
maintien l’entrée à U=1, et on ajute une autre entrée variable avec une variation de paramètre
dans une période donné par (5s), qui influencera sur la rapidité du modèle, et pour ce faire on
change la valeur du condensateur C entre deux valeurs: C1= 470 10-6 𝜇𝜇𝜇𝜇 et C2=47 10-6 𝜇𝜇𝜇𝜇.

36
Chapitre II Méthode Moindres carrés : cas discret

Fig. 2.5 - Sorties du système et du modèle

Fig. 2.6 – les paramètres estimés

La Fig. 2.5 représente la sortie du système réel et celle du modèle. D’après les
résultats obtenu on déduit que la variation de paramètre dans une période donné par (5s) a
influencé sur la rapidité du modèle et qui suit parfaitement la variation de la sortie du
système réel. Montrera plus pris qu’il le suit parfaitement.
Les paramètres correspondants a ces sortie sont donnée par la Fig. 2.6. En effet dans
cette dernière on déduit que ces paramètres sont bornés et qu’ils ne divergent pas.

37
Chapitre II Méthode Moindres carrés : cas discret

7. Conclusion :

Dans ce chapitre, nous avons présenté l’algorithme des moindres carrés dans le cas
décrit et leurs différentes déclinaisons. En effet, on a fait une étude globale sur la convergence
de certain signaux et cela et obtenu après la représentation du développement mathématique
de cet algorithme. Et de même ce dernier est applicable pour tous les systèmes dynamiques
stables ou instables. Cet algorithme «des moindres carrés» à été implémenté au système
électrique simple «Filtre RC».

38
Bibliographie

[1] P. A. Ioannou, J. Sun. Robust Adaptive Control . Dover publication, Inc. Mineola, New
York, 1996.

[2] Eykhoff, P. System Identification: Parameter and State Estimation, John Wiley & Sons,
Inc., New York, 1974.

[3] Ljung L. and T. Soderstrom, Theory and Practice of Recursive Identification, MIT Press,
Cambridge, Massachusetts, 1983.

[4] Middleton, R.H and G.C. Goodwin, Digital Control and Estimation: A Unified Approach.
Prentice Hall, Englewood Cliffs, New Jersey, 1990.

[5] Chi-Tsong Chen, Control System Design : Transfer-Function, State-Space, and

Algerbraic Methode, Harcourt Brace Jovanovich College Publishers, New York 2000.

[6] Mathias André, Concavité / Convexité, cours de École Polytechnique – Crest, M1 EPP
2009.

[7] Etienne Miquey, Fonctions convexes, Atelier Maths JPS - 10 Janvier 2011.

[8] Denis Diderot, Topologie des espaces vectoriels de dimension finie, Université Paris 7 –
Année 2005/2006.

[9] Youness Mir, Approximation par la méthode des moindres carrés, Mémoire de doctorat,
Faculté des Sciences Université de Sherbrooke, Canada, Novembre 2007.

[10] Christophe Hurlin et Papa MB.P. N’Diaye y, Méthode d’Estimation des Moindres
Carrés Modifiés, Juin 1998.

[11] Michel Llibre, Resolution de systemes lineaires : Moindres carres récursifs et Filtre de
Kalman discret. ONERA, the franch aerospace LAB. Décembre 2008.
[13] B. SALEMI1, B. REMY, Mise en place de modèles paramétriques autorégressifs de type
« ARX » pour l’extrapolation de températures d’équipements dans la nacelle d’un système
propulsif, Congrès Français de Thermique, SFT 2011, Perpignan, 24-27 Mai 2011.

[14] [Link]. parameter estimation for continuous time models . A survey.

Automatica.1981

[15] Michel ETIQUE, Cours Automatique avancée (AAV), 134 pages, Haute Ecole
d'Ingéniérie et de Gestion. Suisse. Mars 2006.

[16] Salgado, M. E., G. C. Goodwin, et R. H. Middleton (1988). Modified least squares

algorithm incorporating exponential resetting and forgetting. International Journal of
Control 47(2), 477–491.

[17] Parkum, J., N. K. Poulsen, et J. Holst (1992). Recursive forgetting algorithms.

International Journal of Control 55(1), 109–128.

[18] Lughofer, E. et P. Angelov (2011). Handling drifts and shifts in on-line data streams
with evolving fuzzy systems. Applied Soft Computing 11(2), 2057–2068.

[19] Fortescue, T. R., L. S. Kershenbaum, et B. E. Ydstie (1981). Implementation of self-

tuning regulators with variable forgetting factors. Automatica 17(6), 831–835.

[20] Almaksour, A. et E. Anquetil (2011). Improving premise structure in evolving takagi-

sugeno neuro-fuzzy classifiers. Evolving Systems 2, 25–33.

[21] Philippe LE BRUN, Choix et alimentation des machines à courant continu, Janvier
2000.