Chap.

1 : Introduction : Problème de commande optimale

1. Position du problème
Optimal = le meilleur possible, le plus favorable (Développement optimal d'une entreprise,
température optimale, résultats optimaux, …).
Commande optimale : la théorie de la commande optimale permet de déterminer la commande
d'un système qui minimise (ou maximise) un critère de performance donné.
Les problèmes de commande optimale se rencontrent couramment dans la vie quotidienne :
- Comment arriver à une destination donnée le plus rapidement possible ?
- Comment minimiser les dépenses ? la consommation d'énergie ? …
Pour introduire la notion de commande optimale, considérons l'exemple suivant :
Pour arrêter la rotation d'un moteur qui tourne à une vitesse donnée v on peut lui appliquer un
couple extérieur sur son axe de rotation. Il s'agit alors de déterminer la commande (le
couple) qui permet d'amener sa vitesse de rotation de l'état initial à l'état final
0 tout en répondant à un objectif (critère) donné, tel que l'arrêt du moteur en temps
minimum.
Déterminer la commande qui répond à ce critère est l'objet de la théorie de la commande
optimale.
On peut trouver plusieurs exemples de commande optimale :
- Régulation de la température d'une pièce ou d'un four en utilisant le minimum d'énergie,
- Problèmes de poursuite : déterminer la commande pour que la sortie du système suive le mieux
possible une trajectoire donnée tout en minimisant l'énergie de la commande.
On peut donc, énoncer le problème de la détermination d'une commande optimale (la meilleure
commande dans un certain sens) pour amener un système d'un état initial à un état final
comme suit :
Trouver parmi les commandes admissibles celle qui permet à la fois de :
- vérifier les conditions initiales et finales données,
- satisfaire diverses contraintes imposées,
- optimiser (minimiser ou maximiser) un critère donné.

1
2. Formulation du problème de commande optimale
Les systèmes à commander sont d'origines diverses : mécanique, électrique, biologique, chimie,
économique, …Chaque problème de commande nécessite la détermination du modèle décrivant
le système à commander.
a. Modèle mathématique du système :
Les systèmes considérés sont représentés par des modèles d'état. Ils peuvent être :
- linéaires continus :
, ∈ , ∈
- non linéaires continus :
, ,
où est une fonction vectorielle.
- linéaires discrets :
1
- non linéaires discrets :
1 , ,
Outre le modèle décrivant le système, on doit formuler le critère de performance à optimiser et
les différentes contraintes physiques.
b. Critère de performances :
C'est une grandeur mathématique désignée dans la littérature technique selon le domaine :
Critère (en automatique), fonction coût (en économie), fonctionnelle (en mathématique),
fonction objectif, ….
En pratique, déterminer un critère n'est pas une tache facile, toutefois on peut toujours se ranger
dans les catégories suivantes :
Minimiser un temps, optimiser une amplitude, maximiser un profil ou un revenu, minimiser une
erreur, minimiser une consommation, …
Les critères les plus utilisés sont :
- Problème à temps minimal :

- Cas linéaire quadratique :

1
, , ,
2

2
où et sont des matrices de pondération.
- Cas général :

, , , , , ,

où , , est une fonction non linéaire et , représente la fonction coût terminal.

Pour la formulation des contraintes, il faut noter leur diversité. On peut citer :
- temps final fixe ( est donné),
- temps final libre,
- état initial fixe,
- contrainte sur l'état ( 0),
- contrainte sur la commande.
∗
Le problème de commande optimale consiste alors à trouver la commande optimale qui
optimise le critère , , tout en amenant le système de son état initial à son état final
et en tenant compte des contraintes :
, ,
∗
≡
é
Le problème de commande optimale peut être considéré comme un problème de minimisation ou
de maximisation d'une fonctionnelle, c’est-à-dire un problème de calcul de variation. Il existe
trois approches pour résoudre ce problème :
- Calcul des variations (Equations d'Euler – Lagrange),
- Principe du maximum (minimum) de Pontryagin (généralisation des équations d'Euler –
Lagrange),
- Programmation dynamique (principe d'optimalité de Bellman).
Exemple :
Formuler le problème de commande optimale en temps minimal pour le système d'ordre 2 ci-
dessous :
0 , é
Soit 0, c’est-à-dire on ramène le système à l'origine.
i. Modèle du système :

2
On pose , , on obtient :

3
 0 1 0
2 1
ii. Condition initiale : 0
Condition finale :
iii. Critère de performance :

, 0 ⇒

La minimisation de donne la valeur optimale de .

Supposons que nous avons la contrainte | | : é
Les inconnus du problème sont :
∗
- 0
- critère à optimiser sujet à la contrainte | | .
3. Principe d'optimalité de Bellman (Programmation dynamique)
Soit le critère :

, , , , ,

∗
On appelle trajectoire optimale la solution des équations d'état décrivant le système pour
∗ ∗
, où est la commande optimale minimisant le critère , , sur
l'intervalle .
Enoncé du principe :
La trajectoire optimale sur l'intervalle contient la trajectoire optimale sur l'intervalle
avec comme condition initiale .
∗

∗
Soit , la valeur optimale du critère :
∗
, , ,
, ∈

4
Autrement dit :
∗
∗
, , , , , ,
, ∈ , ∈

Le principe d'optimalité de Bellman permet d'obtenir une solution optimale en décomposant

l'intervalle en plusieurs intervalles et en résolvant un problème récursif.
Par hypothèse le coût , , pour passer de à en passant par est optimal (C’est-
à-dire le coût , , est minimum) :
On a :
coût , , coût , + coût ,
Supposons que le coût , ′ est optimal, on aura alors :
coût , ′ coût ,
et par conséquent :
coût , , ′ = coût , coût , ′ coût , ,
C’est-à-dire que le coût , , n'est pas minimal ce qui en contradiction avec l'hypothèse.
On conclut donc que la trajectoire , ′ ne peut pas être optimale ′ ≡ .
4. Principe du minimum (maximum) de Pontryagin (1950)
Soit le problème de commande optimale donné par :

, , , , ,
∈
à∶
, , , ∈ , ∈
,
où représente l'ensemble des commande admissibles.
Enoncé du principe :
∗ ∗
Si ∈ est une solution optimale admissible et la trajectoire d'état optimale associé
∗
à , il existe alors un vecteur tels que :

, , ,
,
, , ,

où : est appelé état adjoint et , , , est l'Hamiltonien du système, il est

défini par :

5
 , , , , , , , ,
et on a :
∗ ∗ ∗ ∗ ∗
, , , , , , ,∀ ∈
∗ ∗ ∗ ∗ ∗
, , , , , ,
, ′
∈
Remarque :
Les équations précédentes (équations d'état et d'état adjoint) sont appelées équations canoniques
de Hamilton.
Les conditions dites terminales, en d'une part et en d'autre part donnent les équations dites
de transversalité suivantes :

0 à ′

0 à ′ é

- Si aucune contrainte n'est imposée sur la commande, on a :

0, ′ é

- Si l'hamiltonie n'est pas une fonction explicite du temps, on a :

- Si le temps final n'est pas fixé on a :

∗
, , , ,
∈
Remarque :
i. Si les conditions initiales ne lient pas et , ce sont alors des variables indépendantes et on
a:

0 0

et on a les cas suivants :

- est donné (fixé) ⇒ 0 ⇒ est inconnu,

- est libre ⇒ 0 ⇒ ,

- est donné (fixé) ⇒ 0 ⇒ est inconnu,

- est libre ⇒ 0 ⇒ .

6
ii. Si les conditions terminales ne lient pas et , ce sont alors des variables indépendantes et
on a:

0 0

et on a les cas suivants :

- est donné (fixé) ⇒ 0 ⇒ est inconnu,

- est libre ⇒ 0 ⇒ ,

- est donné (fixé) ⇒ 0 ⇒ est inconnu,

- est libre ⇒ 0 ⇒ .

Résumé des étapes de solution :

Etap1 :
Former l'Hamiltonien du système.
Etape 2 :
Minimiser par rapport à :
∗ ∗ ∗ ∗
∗ 0 et obtenir , ,

Etape 3 :
∗ ∗ ∗
Utiliser les résultats de l'étape 2 dans l'étape 1 pour trouver , ,
Etape 4 :
Résoudre l'ensemble des équations différentielles :

∗ ∗

,
∗ ∗

avec les conditions initiales et terminales données :

∗
0

∗
0

Etape 5 :
∗ ∗ ∗
Remplacer les solutions et obtenues à l'étape 4 dans l'expression de
obtenue à l'étape 2.

7
5. Programmation dynamique
a. Systèmes mono-variables continus :
Le système est décrit par :
, , , ∈ , ∈ , 0
Critère de performances :

, , , , , ,

avec est fixé.

Trouver la commande optimale u(t) qui minimise le critère précédent.
Définissons une fonction , , appelée fonction solution par :

, , ,

0 ,0 , , , ,

On a : , , , , , ,
Or :
, , Δ , Δ

, , , , ,

On a :

, , ≅ , , ∆

, ,

, ,

8
On obtient alors :
, , , ∆ Δ , Δ

D'autre part, on a :
∆
≅ , ,
∆
A partir de cette approximation, on obtient :
∆ , , ∆ ∆
L'expression de , devient :
, , , ∆ Δ , Δ

avec :
Δ , , ∆

En utilisant le développement en série de Taylor d'ordre 1, Δ , Δ s'écrit :

Δ , Δ , Δ , Δ ,

L'expression de , devient :

, , , ∆ , Δ , Δ ,

, , ∆ , , , ∆ , Δ ,

, , ∆ , , ∆ , , Δ ,

Finalement, on obtient :

, , , , , ,

Cette équation, appelée équation de Hamilton – Jacobi – Bellman (HA-JA-BE), est une équation
∗
différentielle partielle elliptique dont la solution fournit la commande optimale .
Condition terminale : , , (coût terminal).

9
b. Systèmes multivariables continus :
Le système est décrit par :
, , , ∈ , ∈ ,
Critère de performance :

, , , , , , : é

L'équation de Hamilton – Jacobi – Bellman est donnée par :

, , , , , ,
,

où , est le gradient de , et , , est une fonction vectorielle, ils

sont donnés par :

, , , , ,…, ,

, , , , , , , ,…, , ,

Condition terminale : , , (coût terminal).

10