Optimisation Dynamique

Adama COULIBALY
UFR de Mathématiques et Informatique,
Université Félix Houphouët-Boigny

27 novembre 2017
2
Table des matières

1 Optimisation statique 5
1.1 Ensembles convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 Sous espaces affines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.2 Premières définitions sur les ensembles convexes . . . . . . . . . . . . . . . 6
1.1.3 Opérations préservant la convexité . . . . . . . . . . . . . . . . . . . . . . 6
1.1.4 Propriétés topologiques des convexes . . . . . . . . . . . . . . . . . . . . . 7
1.1.5 Enveloppes convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Cônes convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1 Généralités sur les cônes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2 Cônes tangents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Notion de semi continuité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.2 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4 Fonctions convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.1 Quelques fonctions convexes particulières . . . . . . . . . . . . . . . . . . . 19
1.4.2 Caractérisation des fonctions convexes différentiables . . . . . . . . . . . . 20
1.4.3 Notions sur les fonctions quasi convexes . . . . . . . . . . . . . . . . . . . 21
1.5 Optimisation statique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.5.1 Notion d’infimum, supremum, minimum, maximum . . . . . . . . . . . . . 23
1.5.2 Notion de programme mathématique . . . . . . . . . . . . . . . . . . . . . 24
1.5.3 Optimisation sans contraintes . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.5.4 Optimisation avec contraintes . . . . . . . . . . . . . . . . . . . . . . . . . 28

2 Calcul des variations 31

2.1 Introduction, Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Problème élémentaire du calcul des variations classique . . . . . . . . . . . . . . . 33
2.2.1 Conditions nécessaires d’optimalité du premier ordre . . . . . . . . . . . . 33
2.2.2 Conditions nécessaires et suffisantes d’optimalité . . . . . . . . . . . . . . . 40
2.2.3 Conditions d’optimalité du second ordre . . . . . . . . . . . . . . . . . . . 40
2.3 Problèmes avec conditions particulières . . . . . . . . . . . . . . . . . . . . . . . . 43
2.3.1 Problème avec ligne terminale verticale . . . . . . . . . . . . . . . . . . . . 43
2.3.2 Problème avec horizon libre . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.3.3 Problème avec contrainte d’égalité au point terminal . . . . . . . . . . . . 46
2.3.4 Problème avec point terminal contrainte en inégalité . . . . . . . . . . . . 47
2.4 Problème avec critère contenant un coût terminal . . . . . . . . . . . . . . . . . . 50

3
4 TABLE DES MATIÈRES

3 Contrôle optimal en temps continu : Principe du maximum 53

3.1 Exemple introductif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2 Problème simple de contrôle optimal . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.2.1 Conditions nécessaires d’optimalité : principe du maximum . . . . . . . . . 54
3.3 Problème avec conditions particulières aux bords . . . . . . . . . . . . . . . . . . 57
3.4 Problème avec critère contenant un coût terminal . . . . . . . . . . . . . . . . . . 58
3.5 Interprétation économique des conditions nécessaires d’optimalité . . . . . . . . . 59
3.5.1 Principe du maximum : Hamiltonien courant . . . . . . . . . . . . . . . . . 61
3.5.2 Conditions suffisantes d’optimalité . . . . . . . . . . . . . . . . . . . . . . 63

4 Programmation dynamique 67
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.2 Programmation dynamique en temps discret : optimisation combinatoire . . . . . 67
4.2.1 Horizon fini . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.3 Programmation dynmique en temps discret : Problèmes de commande . . . . . . . 71
4.3.1 Problème en horizon fini . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3.2 Problème en horizon infini . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.4 Programmation dynamique en temps continu : calcul des variations . . . . . . . . 77
4.4.1 Principe de la programmation dynamique . . . . . . . . . . . . . . . . . . 77
4.5 Programmation dynamique en temps continu : problème de commande . . . . . . 77
4.5.1 Formulation dynamique du problème . . . . . . . . . . . . . . . . . . . . . 78
4.5.2 Principe de la programmation dynamique . . . . . . . . . . . . . . . . . . 78
4.5.3 Equation de Hamilton-Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.5.4 Théorème de vérification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Chapitre 1

Optimisation statique

Le cadre général de ce cours est un espace vectoriel réel E.

1.1 Ensembles convexes

Dans cette section, on se limite à quelques faits fondamentaux de l’analyse convexe qui nous
sont indispensables pour la suite du cours.

1.1.1 Sous espaces affines

Définition 1.1.1 Etant donné M ⊂ E, on dit que M est un sous espace affine (ou une variété)
de E, si M est stable par combinaison linéaire affine. C’est-à-dire :

∀ x y ∈ M, ∀α ∈ R, (1 − α)x + αy ∈ M.

Autrment dit, un sous espace affine contient toujours la ”droite” passant par deux de ses points.

On montre que si A est un sous-espace affine contenant 0, alors c’est un sous-espace vectoriel.
Aussi, pour tout a ∈ A, le translaté A − a est un sous-espace vectoriel.
Parce que l’intersection de sous-espaces affines est un sous-espace affine, et que l’ensemble des
sous-espaces affines contenant A n’est pas vide (puisque E en est un), la définition suivante a du
sens.

Définition 1.1.2 L’enveloppe affine d’un sous-ensemble A de E, noté aff(S) est l’intersection de
tous les sous espaces affines contenant A. C’est le plus petit sous espace affine contenant A.

On montre que

Proposition 1.1.1
( Pp )
α i = 1,
aff(S) = x ∈ Rn : ∃p ∈ N∗ , ∃(αi , xi ) ∈ (R × S)p : Pi=1
p i
i=1 αi x = x

ou encore
( p
)
X p ∈ N, xi ∈ S, λi ∈ R, ∀i = 1, · · · , p,
aff(S) = x=a+ λi (xi − a) : Pp .
i=1 i=1 λi = 1

5
6 CHAPITRE 1. OPTIMISATION STATIQUE

1.1.2 Premières définitions sur les ensembles convexes

Définition 1.1.3 On appelle combinaison linéaire convexe de k points de E, xi : i = 1, · · · , k,
P
tout élément de E, x = ki=1 λi xi où les coefficients λi sont positifs et de somme 1.

En particulier, une combinaison linéaire convexe de deux points x et y, est tout point z =
(1 − λ)x + λy avec λ ∈ [0, 1]
On a les définitions suivantes

Définition 1.1.4 Soit x, y ∈ E ; on appelle segment ”fermé” d’extrémités x et y, l’ensemble noté

[x, y] et défini par :
[x, y] = {z ∈ E : z = (1 − λ) x + λy : λ ∈ [0, 1]} .
C’est l’ensemble de toutes les combinaisons linéaires convexes des points x et y.

De façon analogue, on définit :

Définition 1.1.5 On appelle segment ”ouvert” d’extrémités x et y, et on le note ]x, y[, l’ensemble

]x, y[ = {z ∈ E : z = (1 − λ) x + λy : λ ∈ ]0, 1[} .

On définit aussi ]x, y] et [x, y[ qui sont appelés segment semi ouvert en x respectivement en y.

]x, y] = {z ∈ E : z = (1 − λ) x + λy λ ∈ ]0, 1]} .

[x, y[ = {z ∈ E : z = (1 − λ) x + λy λ ∈ [0, 1[} .

Définition 1.1.6 Soit C une partie de E. C est convexe si seulement si pour tout x, y ∈ C,
(1 − λ) x + λy ∈ C pour tout λ ∈ [0, 1]. Autrement dit, C est convexe si seulement si C contient
tout segment fermé d’extrémités deux quelconques de ses points.

On a la proposition suivante :

Proposition 1.1.2 Une partie C de E est convexe si seulement si elle contient toute combinaison
linéaire convexe de toute famille finie d’éléments qui lui appartiennent.

1.1.3 Opérations préservant la convexité

Les propriétés suivantes sont immédiates.

Proposition 1.1.3 1) Toute combinaison linéaire de convexes dans E est convexe. C’est-à-dire
que si C1 , · · · , Ck sont convexes dans E alors pour tous α1 , · · · , αk dans R, α1 C1 + · · · + αk Ck est
convexe.
En particulier :
pour a ∈ E et tout convexe C de E, le translaté,

a + C = {a + x : x ∈ C}

est convexe.
1.1. ENSEMBLES CONVEXES 7

pour α ∈ R et tout convexe C de E, l’homothétique,

αC = {αx : x ∈ C}

est convexe.
2) Toute intersection de parties convexes est convexe.
3) L’union de sous ensembles convexes n’est pas convexe en général, mais l’union croissante
de convexes (famille emboı̂tée) est convexe.
4) Si E et E ′ sont deux espaces vectoriels, le produit cartésien de deux convexes C ⊂ E et
C ′ ⊂ E ′ est convexe dans E × E ′ .
5) Inversement, la projection d’un sous ensemble convexe d’un espace produit sur l’un de ses
sous-espaces composants est convexe.
6) Si f est une application affine de E dans un autre espace vectoriel E ′ , l’image d’un convexe
C de E par f est convexe dans E ′ . En outre l’image réciproque d’un convexe de E ′ par f est un
convexe de E.

Une conséquence de ce qui précède est que les solutions d’un ensemble d’égalités et d’inégalités
affines constitue un sous-ensemble convexe.
On a la proposition suivante

Proposition 1.1.4 Si C est convexe alors pour tout α et β positifs ou nuls, on a

αC + βC = (α + β)C.

1.1.4 Propriétés topologiques des convexes

On suppose ici que E est un espace vectoriel normé. Notons que pour x ∈ E, et ε > 0, B(x, ε)
désigne la boule fermée de centre x et de rayon ε.
On remarque qu’on a toujours B(x, ε) = x + εB(0, 1), B(0, 1) étant la boule unité fermée.
On montre que

Proposition 1.1.5 Si C est un convexe de E, alors son intérieur et son adhérence sont aussi
convexes.

Preuve : Il est immédiat que l’adhérence d’un convexe est convexe.

Montrons que l’intérieur d’un convexe est convexe.
Soient x et y deux éléments de int(C), λ ∈ [0, 1] et z = (1 − λ)x + λy. D’après la définition de
int(C), il existe ε1 et ε2 tels que B(x, ε1 ) ⊂ C et B(y, ε2) ⊂ C. Donc pour ε = min{ε1 , ε2 }, on a

B(x, ε) ⊂ C, B(y, ε) ⊂ C.

Comme
B(z, ε) = z + B(0, ε)
= (1 − λ)x + λy + B(0, ε)
= (1 − λ)x + λy + ((1 − λ) + λ)B(0, ε)
= (1 − λ) [x + B(0, ε)] + λ [y + B(0, ε)]
= (1 − λ)B(x, ε) + λB(y, ε)
8 CHAPITRE 1. OPTIMISATION STATIQUE

et
(1 − λ)B(x, ε) + λB(y, ε) ⊂ (1 − λ)C + λC = C,
car C est convexe, on conclut que B(z, ε) ⊂ C. Par suite z ∈ int(C). Donc int(C) est convexe. 
On montre aussi que :

Proposition 1.1.6 Si C est un convexe d’intérieur non vide de E, alors on a :

int(C) = int(C), C = int(C).

1.1.5 Enveloppes convexes

Définition 1.1.7 Soit S une partie de E. On appelle enveloppe convexe de S, l’intersection de
tous les convexes contenant S. C’est le plus petit convexe (au sens de l’inclusion) contenant S.
On le note conv(S).

On montre que :

Proposition 1.1.7 Si S est un sous-ensemble de E, l’enveloppe convexe de S, est l’ensemble de

toutes les combinaisons linéaires convexes finies d’éléments de S. Autrement dit on a :
( k
)
X xi
∈ S, ∀i = 1, · · · , k,
conv(S) = x = λi xi : k ∈ N∗ , Pk
i=1
λ i ≥ 0, ∀i = 1, · · · , k, i=1 λi = 1

Preuve :
Posons ( )
k
X xi ∈ S, ∀i = 1, · · · , k,
C= x= λi xi : k ∈ N∗ , P
λi ≥ 0, ∀i = 1, · · · , k, ki=1 λi = 1
i=1

Soit C un convexe de E contenant S. Donc C contient toute combinaison linéaire convexe de toute
famille finie d’éléments de C. Comme C contient S alors C contient toute combinaison linéaire
convexe de toute famille finie d’éléments de S et donc C contient C. Par suite C est contenu dans
tous les convexes contenant S. On a alors C ⊂ conv(S).
D’autre part, on vérifie facilement que C est convexe et contient S. Et comme conv(S) est le
plus petit convexe contenant S, on a alors conv(S) ⊂ C. D’où l’égalité conv(S) = C. 

Proposition 1.1.8 S est convexe si et seulement si conv(S) = S

Preuve : Si S est convexe alors il est le plus petit convexe contenant S. Donc conv(S) = S.
Réciproquement si on a conv(S) = S alors S est convexe. 

Proposition 1.1.9 1) conv(conv(S)) = conv(S)

2) Si on a A ⊂ B alors conv(A) ⊂ conv(B)

Preuve : 1) Comme conv(S) est convexe, on a conv(conv(S)) = conv(S).

2) Soit A ⊂ B : le plus petit convexe contenant B contient aussi A donc conv(B) contient
conv(A). 
On a la propriété topologique suivante :
1.1. ENSEMBLES CONVEXES 9

Proposition 1.1.10 L’enveloppe convexe d’un ouvert est un ouvert.

Preuve : Soit S un ouvert : montrons que int(conv(S)) = conv(S).

On a S ⊂ conv(S) et donc S = int(S) ⊂ int(conv(S)). Par suite int(conv(S)) est un convexe
qui contient S. Donc on a conv(S) ⊂ int(conv(S)). On obtient donc conv(S) = int(conv(S)). 
Comme le montre l’exemple ci-dessous, l’enveloppe convexe d’un fermé n’est pas en général un
fermé.

Exemple 1.1.1

Soit
S = {(x, y) ∈ R2 : x ≥ 0, xy ≥ 1} ∪ {(0, 0)}
On a :
conv(S) = {(x, y) : x > 0, y > 0} ∪ {(0, 0)}
qui n’est pas un fermé.

Proposition 1.1.11 Dans un espace vectoriel normé E de dimension finie,

1) si S ⊂ E est borné alors conv(S) est borné.
2) Si S ⊂ E est compact alors conv(S) est compact.

Preuve :
On peut supposer que E = Rn .
1) Immédiat
2) On a
n+1
X n+1
X
conv(S) = {x = λi xi : λi ≥ 0, xi ∈ S, ∀i = 1, · · · , n + 1, λi = 1}.
i=1 i=1

Posons
n+1
X
n+1
K = {λ ∈ R : λi ≥ 0, ∀i = 1, · · · , n + 1, λi = 1}.
i=1

K est compact.
Soit
S n+1 × K −→ Rn
f: P
(x1 , · · · xn+1 , λ) 7−→ n+1
i=1 λi xi

f est continue et S n+1 × K est compact ce qui implique que f (S n+1 × K) est compact. Or
f (S n+1 × K) = conv(S). D’où la proposition. 

Définition 1.1.8 Etant donné S une partie de E, l’enveloppe convexe fermée de S est l’intersec-
tion de tous les convexes fermés contenant S. C’est le plus petit convexe fermé contenant S. On
le note conv(S).

Proposition 1.1.12 1) Si A et B sont deux sous ensembles de E avec

A ⊂ B, alors conv(A) ⊂ conv(B).
2) Si S est une partie de E, on a :

conv(S) = conv(S) = conv(S).

10 CHAPITRE 1. OPTIMISATION STATIQUE

Preuve : La preuve de 1) est immédiate.

2) L’ensemble des convexes fermés contenant S est égal à l’ensemble des convexes fermés
contenant S. Donc conv(S) = conv(S).
Montrons que
conv(S) = conv(S).
On a
S ⊂ conv(S) ⊂ conv(S).
Or conv(S) est un convexe fermé ; donc,

conv(S) ⊂ conv(S).

D’autre part, on a
conv(S) ⊂ conv(S)
et S ⊂ S : donc
conv(S) ⊂ conv(S) ⊂ conv(S).
On en déduit alors que
conv(S) ⊂ conv(S) = conv(S).
Ce qui donne la deuxième inclusion et donc l’égalité recherchée. 

1.2 Cônes convexes

1.2.1 Généralités sur les cônes
Définition 1.2.1 On dit qu’un ensemble A ⊂ E est un cône de sommet a ∈ E si pour tout x ∈ A
et pour tout λ > 0, a + λ(x − a) ∈ A.

En pratique lorsqu’on parle de cône sans préciser le sommet il s’agit d’un cône de sommet
l’origine de l’espace vectoriel, (a = 0). C’est-à-dire un ensemble A ⊂ E tel que pour tout x ∈ A
et λ > 0, λx ∈ A.
On remarque que :

Remarque 1.2.1 A est un cône de sommet a si et seulement si A − a est un cône de sommet 0.

Définition 1.2.2 On dit qu’un cône K de sommet l’origine est dit saillant si pour tout x ∈ K,
x 6= 0 alors −x ∈
/ K.

on a la caractérisation suivante des cônes convexes.

Proposition 1.2.1 Un cône K est convexe si et seulement si K + K ⊂ K.

Preuve : Soit K un cône. Supposons que K est convexe.

Soient x et y deux éléments de K. Comme K est convexe alors

(1 − λ)x + λy ∈ K pour tout λ ∈ [0; 1]

1.2. CÔNES CONVEXES 11

donc en particulier pour λ = 21 . Alors 21 x + 21 y ∈ K. Par suite

1 1
x + y = 2( x + y) ∈ K.
2 2
Réciproquement supposons que K + K ⊂ K. Si x et y sont dans K, alors comme K est un
cône, (1 − λ)x et λy appartiennent à K pour tout λ ∈]0; 1[. La condition K + K ⊂ K implique
alors que (1 − λ)x + λy ∈ K. Par suite K est convexe. 
On a les propriétés suivantes :
Proposition 1.2.2 1) L’image par une application linéaire d’un cône convexe est un cône convexe.
2) L’intersection de cônes convexes est un cône convexe.
3) Si K est un cône convexe, alors K est un cône convexe.
4) L’enveloppe convexe d’un cône est un cône convexe.

Définition 1.2.3 Soit S ⊂ E. On appelle enveloppe conique de S, l’intersection de tous les cônes
contenant S. C’est le plus petit cône qui contient S.
On appelle cône généré ou engendré par S, le cône obtenu en adjoignant l’origine à l’enveloppe
conique de S.
On a les propositions suivantes.

Proposition 1.2.3 Soit S ⊂ E, S 6= ∅. Alors

1) L’enveloppe conique de S est égale à ∪ λS = R∗+ S.
λ>0
2) Le cône généré par S est égal à ∪ λS = R+ S.
λ≥0

Proposition 1.2.4 Si S est convexe alors l’enveloppe conique de S et le cône généré par S sont
convexes.

Définition 1.2.4 Soit S ⊂ E. On appelle enveloppe conique convexe de S, l’intersection de tous

les cônes convexes contenant S. C’est le plus petit cône convexe qui contient S.
On appelle cône convexe généré ou engendré par S, le cône convexe obtenu en adjoignant
l’origine à l’enveloppe conique convexe de S. On le note cone(S).

Proposition 1.2.5 Soit S ⊂ E, S 6= ∅. Alors

1) L’enveloppe conique convexe de S est égale à l’enveloppe conique de conv(S) elle donc égale à
∪ λconv(S) = R∗+ conv(S).
λ>0
2) Le cône convexe généré par S est égal au cône généré par conv(S). On a donc

cone(S) = ∪ λconv(S) = R+ conv(S).

λ≥0

ou encore ( )
X k
xi ∈ S, i = 1, · · · , k,
cone(S) = x : ∃k ∈ N∗ , :x= λi xi
λi ≥ 0, i = 1, · · · , k, i=1

Définition 1.2.5 Soit S ⊂ E. On appelle cône convexe fermé généré ou engendré par S, l’inter-
section de tous les cônes convexes fermés contenant S. C’est le plus petit cône convexe fermé qui
contient S. On le note cone(S).

Proposition 1.2.6 On a cone(S) = cone(S).

12 CHAPITRE 1. OPTIMISATION STATIQUE

1.2.2 Cônes tangents

Les cônes tangents interviennent dans les conditions d’optimalité des problèmes d’optimisation
avec contraintes explicites. dans cette section E est un espace vectoriel normé.
On définit

Définition 1.2.6 Soit S un sous ensemble non vide de E et a ∈ E.

Un vecteur d ∈ E est dit vecteur tangent à S en a, s’il existe une suite {dk } de E tendant vers
d, une suite {λk } de R∗+ tendant vers 0 telles que

a + λk dk ∈ S ∀ k ∈ N.

On montre facilement que

Proposition 1.2.7 L’ensemble des vecteurs tangents à S en a, est un cône.

Preuve : Soit d un vecteur tangent à S en a et λ > 0.

Par définition,
∃ {dk } ⊂ E, dk −→ d,
: a + λk dk ∈ S ∀ k ∈ N.
∃ {λk } ⊂ R∗+ , λk −→ 0,
Posons δ k = λdk et µk = λ1 λk . On a

lim δ k = λd, lim µk = 0, µk > 0

k−→+∞ k−→+∞

et
a + µk δ k = a + λk dk ∈ S ∀k ∈ N.
Par suite λd est un vecteur tangent à S en a. 

Définition 1.2.7 Soit S un sous ensemble non vide de E et a ∈ Rn .

On appelle cône tangent à S en a l’ensemble noté T (S, a) ou TS (a) des vecteurs tangents à S
en a. On a alors
( )
n ∃ {dk } ⊂ Rn , dk −→ d,
T (S, a) = d ∈ R : : a + λk d k ∈ S ∀ k ∈ N .
∃ {λk } ⊂ R∗+ , λk −→ 0,

Proposition 1.2.8 Soit S un sous ensemble non vide de E et a ∈ E.

1) Si a ∈
/ S alors T (S, a) = ∅.
2) Si a ∈ int(S), alors T (S, a) = E.
3) Si a ∈ S alors 0 ∈ T (S, a).
4) Si a est un point isolé de S alors T (S, a) = {0}.

On a encore les propriétés suivantes :

Proposition 1.2.9 Soient A un sous ensemble de E. Alors,

T (A, a) = T (A ∩ V, a), ∀V ∈ V(a).

(V(a) désigne l’ensemble des voisinage du point a) ;

1.2. CÔNES CONVEXES 13

Preuve : Soit V ∈ V(a). On a A ∩ V ⊂ A. Donc

T (A ∩ V, a) ⊂ T (A, a).

Soit à présent d ∈ T (A, a). Par définition

∃ {dk } ⊂ E, dk −→ d,
: a + λk dk ∈ A, ∀ k ∈ N.
∃ {λk } ⊂ R∗+ , λk −→ 0,

On a
lim a + λk dk = a.
k→+∞

Comme V est un voisinage de a,

∃k0 ∈ N : ∀ k ≥ k0 , a + λk dk ∈ A ∩ V.

Considérons
δ k = dk0 +k , et µk = λk0 +k .
On a
{δ k } ⊂ E, {µk } ⊂ R∗+ , δ k −→ d, µk −→ 0,
et
a + µk δ k ∈ A ∩ V ∀ k ∈ N.
Donc
d ∈ T (A ∩ V, a).
D’où l’égalité
T (A, a) = T (A ∩ V, a).

Dans certains cas le cône tangent est un cône convexe comme le montre la proposition ci-
dessous.

Proposition 1.2.10 Si C est un convexe non vide, de E, et a ∈ C alors T (C, a) est un cône
convexe fermé.

Preuve : On sait que T (C, a) est un cône fermé. Il reste à montrer qu’il est convexe. Pour cela il
suffit de montrer que
T (C, a) + T (C, a) ⊂ T (C, a).
Soient d et δ deux éléments de T (C, a).
Par définition, on sait que :

∃ {dk } ⊂ E, dk −→ d,
: a + αk dk ∈ C ∀ k ∈ N,
∃ {αk } ⊂ R∗+ , αk −→ 0,

et
∃ {δ k } ⊂ E, δ k −→ δ,
: a + βk δ k ∈ C ∀ k ∈ N.
∃ {βk } ⊂ R∗+ , βk −→ 0,
Soit
αk βk
λk = .
αk + βk
14 CHAPITRE 1. OPTIMISATION STATIQUE

On a
λk > 0 ∀k, et λk −→ 0.
En outre on a
αk βk
a + λk (dk + δ k ) = a + (dk + δ k ).
αk + βk
Or
αk βk βk αk
a+ (dk + δ k ) = (a + αk dk ) + (a + βk δ k )
αk + βk αk + βk αk + βk
qui est une combinaison linéaire convexe de deux éléments de C et il appartient donc à C car il
est convexe.
Alors
a + λk (dk + δ k ) ∈ C ∀k ∈ N.
Donc T (C, a) est convexe. 
Plus précisément on a

Proposition 1.2.11 Si C est un convexe non vide de E et a ∈ C, alors

T (C, a) = R∗+ (C − a).

1.3 Notion de semi continuité

L’espace E ici est un espace vectoriel normé.

1.3.1 Définitions
Définition 1.3.1 Soit f : E → R̄ = [−∞, +∞].
On appelle domaine effectif de f , l’ensemble :

dom(f ) = {x ∈ E : f (x) < +∞} .

On appelle épigraphe de f , l’ensemble :

epi(f ) = {(x, λ) ∈ E × R : f (x) ≤ λ} .

On appelle épigraphe strict de f , l’ensemble :

f ) = {(x, λ) ∈ E × R : f (x) < λ} .

epi(f

On appelle section ou tranche de niveau λ de f , l’ensemble

Sλ (f ) = {x ∈ E : f (x) ≤ λ} .

On appelle section ou tranche stricte de niveau λ de f , l’ensemble

Seλ (f ) = {x ∈ E : f (x) < λ} .

Définition 1.3.2 Une fonction f : E → R = [−∞, +∞] est dite propre

si f (x) > −∞ et dom(f ) est non vide.
1.3. NOTION DE SEMI CONTINUITÉ 15

En partculier si f est à valeurs dans R ∪ +∞, elles dite propre si domf est non vide.

Définition 1.3.3 Soit f : E → R et x0 ∈ E. La fonction f est :

1) semi continue inférieurement (s.c.i. ) en x0 si :

∀ λ < f (x0 ), ∃ V ∈ V(x0 ) : λ < f (x) ∀ x ∈ V.

Ce qui est équivalent à

∀ ε > 0, ∃ δ > 0 : kx − x0 k < δ ⇒ −ε < f (x) − f (x0 ).

2) semi continue supérieurement (s.c.s.) en x0 si

∀ λ > f (x0 ), ∃ V ∈ V(x0 ) : λ > f (x) ∀ x ∈ V.

Ce qui est équivalent à

∀ ε > 0, ∃ δ > 0 : kx − x0 k < δ ⇒ f (x) − f (x0 ) < ε.

On montre facilement que

Proposition 1.3.1 Une fonction f est s.c.s. en x0 si et seulement si la fonction −f est s.c.i. en
x0 .

Exemple 1.3.1

La fonction f définie sur R par :

 1
x2
si x 6= 0
f (x) =
0 si x = 0.

est s.c.i. en 0.

Exemple 1.3.2

La fonction f définie sur R par :

 1
x3
si x 6= 0
f (x) =
0 si x = 0.

n’est ni s.c.i. ni s.c.s. en 0.

On rappelle les définitions suivantes ; Etant donnés une fonction f : E → R et a ∈ dom(f ), on
sait que les fonctions
R∗ −→ [−∞, +∞]
ϕa : +
ε 7−→ inf {f (x) : kx − ak ≤ ε}
et
R∗+ −→ [−∞, +∞]
ψa :
ε 7−→ sup {f (x) : kx − ak ≤ ε}
sont décroissante respectivement croissante.
On définit alors :
16 CHAPITRE 1. OPTIMISATION STATIQUE

Définition 1.3.4 Soit f : E → R :

lim inf f (x) = lim ϕa (ε) = lim(inf {f (x) : kx − ak ≤ ε}).

x→a ε↓0 ε↓0

lim sup f (x) = lim ψa (ε) = lim(sup {f (x) : kx − ak ≤ ε}).

x→a ε↓0 ε↓0

Signalons que si f : E → R est définie au voisinage de a alors on a :

lim inf f (x) ≤ f (a) ≤ lim sup f (x).

x→a x→a

On a dans le théorème suivant une caractérisation de la semi continuité.

Théorème 1.3.1 Soit f : E → R :

- f est s.c.i. en a ∈ E si et seulement si f (a) ≤ lim inf x→a f (x). Ce qui revient à f (a) =
lim inf x→a f (x), car on a toujours lim inf x→a f (x) ≤ f (a).
-f est s.c.s. en a ∈ E si et seulement si f (a) ≥ lim supx→a f (x). Ce qui revient à f (a) =
lim supx→a f (x), car on a toujours lim supx→a f (x) ≥ f (a).

1.3.2 Propriétés
On a les propriétés suivantes :

Proposition 1.3.2 1) Soient f, g : Rn → R. Si f et g sont s.c.i. en a ∈ E, alors f + g est s.c.i.

en a.

Définition 1.3.5 Une fonction f : E → R est s.c.i. sur un sous ensemble C de E si elle est s.c.i.
en tout point de C.
Si C = E, on dit que la fonction est s.c.i. .

On a les résultats suivants.

Proposition 1.3.3 Une fonction f : E → R est s.c.i. si et seulement si son épigraphe est fermé.

Proposition 1.3.4 Une fonction f : E → R est s.c.i. si et seulement si pour tout λ ∈ R, Sλ (f )

(section de niveau λ de f ) est fermé.

Proposition 1.3.5 - L’enveloppe supérieure d’une famille quelconque de fonctions de s.c.i. , est
s.c.i. .
- L’enveloppe inférieure d’une famille finie de fonctions s.c.i. , est s.c.i. .

On en déduit que

Proposition 1.3.6 1) L’enveloppe supérieure de toute famille de fonctions continues est s.c.i. .
Aussi, si {fk } est une suite croissante de fonctions continues, sa limite f qui est identique à
supk fk est alors s.c.i. .
2) L’enveloppe inférieure de toute famille finie de fonctions continues est s.c.i. .
1.4. FONCTIONS CONVEXES 17

1.4 Fonctions convexes

Dans cette section, on aborde le sujet des fonctions convexes sur un espace de Hilbert E et à
valeurs dans R ∪ +∞.

Définition 1.4.1 Une fonction f : E → R ∪ {+∞} est convexe si

∀ x, y ∈ domf, f ((1 − λ)x + λy) ≤ (1 − λ)f (x) + λf (y) ∀ λ ∈ [0, 1].

Définition 1.4.2 Une fonction f : E → R ∪ {+∞} est strictement convexe, si

∀ x, y ∈ domf, x 6= y, f ((1 − λ)x + λy) < (1 − λ)f (x) + λf (y) ∀ λ ∈]0, 1[.

Définition 1.4.3 Une fonction f : Rn → R ∪ {+∞} est fortement convexe de module r > 0, si

∀ x, y ∈ domf, f ((1 − λ)x + λy) ≤ (1 − λ)f (x) + λf (y) − 2r λ(1 − λ)ky − xk2 ∀ λ ∈ [0, 1].

Définition 1.4.4 f : Rn → R ∪ {−∞} est concave si −f : E → R ∪ {+∞} c’est-à-dire :

∀ x, y ∈ dom(−f ), f ((1 − λ)x + λy) ≥ (1 − λ)f (x) + λf (y) ∀ λ ∈ [0, 1].

Définition 1.4.5 Une fonction f : Rn → R ∪ {−∞} est strictement concave, si

∀ x, y ∈ dom(−f ), x 6= y, f ((1 − λ)x + λy) > (1 − λ)f (x) + λf (y) ∀ λ ∈]0, 1[.

Définition 1.4.6 Une fonction f : Rn → R ∪ {−∞} est fortement concave de module r > 0, si

∀ x, y ∈ dom(−f ), f ((1 − λ)x + λy) ≥ (1 − λ)f (x) + λf (y) − 2r λ(1 − λ)ky − xk2 .∀ λ ∈ [0, 1].

On montre facilement que :

Proposition 1.4.1 Si C est un convexe non vide de E et f : C → R, alors : f est convexe sur
C si et seulement si, la fonction étendue (on dit aussi prolongement canonique) de f , définie sur
E par : (
f (x) si x ∈ C
f˜(x) =
+∞ sinon
est convexe sur E.

Ainsi, pour étudier la convexité des fonctions on peut supposer sans perte de généralités, que
les fonctions sont définies sur E tout entier.
On a le lemme suivant :

f ) est convexe.
Lemme 1.4.1 Soit f : E → R ∪ {+∞}, epi(f ) est convexe si et seulement si epi(f

On a une caractérisation géométrique de la convexité d’une fonction.

Proposition 1.4.2 Soit f : E → R ∪ {+∞}. Les propositions suivantes sont équivalentes :

i) f est convexe.
ii) L’épigraphe de f , (epi(f )), est convexe.
iii) L’épigraphe strict de f est convexe.
18 CHAPITRE 1. OPTIMISATION STATIQUE

La démonstration est immédiate.

Proposition 1.4.3 Soit f : E → R ∪ {+∞} propre. On a les équivalences suivantes :

i) la fonction f est convexe,
P
ii) pour toute combinaison linéaire convexe d’éléments de domf , x = ki=1 λi xi , on a :
k
X k
X
i
f( λi x ) ≤ λi f (xi ).
i=1 i=1

Proposition 1.4.4 f : E → R ∪ {+∞} propre est convexe (respectivement strictement convexe)

si et seulement si pour toute droite D ⊂ E, la restriction de f à D est convexe (respectivement
strictement convexe). C’est-à-dire, pour tout a et d dans E, la fonction ϕa, d définie sur R par
ϕa, d (t) = f (a + td) est convexe (respectivement strictement convexe).

On montre que :

Proposition 1.4.5 Si f : E → R ∪ {+∞} est convexe, alors les sections de niveau λ, Sλ (f ), pour
λ ∈ R sont convexes.

Remarque 1.4.1 Comme on peut le prouver facilement, la réciproque de cette proposition n’est
pas vraie.

On a dans la proposition ci-dessous une caractérisation de la forte convexité.

Proposition 1.4.6 Une fonction f : E → R ∪ {+∞} est fortement convexe de module r si et

seulement si la fonction g définie sur E
par g(x) = f (x) − 12 rkx − ak2 (a ∈ E) est convexe.

Preuve : La fonction g est convexe si et seulement si

∀ x, y ∈ E, ∀ λ ∈]0, 1[,
g((1 − λ)x + λy) ≤ (1 − λ)g(x) + λg(y). (1.1)
Posons
µ = k(1 − λ)x + λy − ak2 − (1 − λ)kx − ak2 − λky − ak2 .
La condition (1.1) est alors équivalente à :
1
f ((1 − λ)x + λy) ≤ (1 − λ)f (x) + λf (y) + rµ.
2
Or
µ = k(1 − λ)x + λy − ak2 − (1 − λ)kx − ak2 − λky − ak2
= k(1 − λ)(x − a) + λ(y − a)k2 − (1 − λ)kx − ak2 − λky − ak2
= (1 − λ)2 kx − ak2 + λ2 ky − ak2 + 2λ(1 − λ)hx − a, y − ai
−(1 − λ)kx − ak2 − λky − ak2


= −λ(1 − λ) kx − ak2 + ky − ak2 − 2hx − a, y − ai
= −λ(1 − λ)ky − xk2 .
1.4. FONCTIONS CONVEXES 19

La condition (1.1) est donc encore équivalente à :

1
f ((1 − λ)x + λy) ≤ (1 − λ)f (x) + λf (y) − rλ(1 − λ)ky − xk2 .
2
Ce qui signifie que la fonction f est fortement convexe. 

On obtient aussi des fonctions convexes en considérant les opérations suivantes :

Proposition 1.4.7 Toute combinaison linéaire finie et positive de fonctions convexes est convexe.
C’est-à-dire : si pour tout i = 1, · · · , p, fi : E → R ∪ {+∞} est convexe, alors pour tout αi ≥ 0,
P
i = 1, · · · , p, la fonction f = pi=1 αi fi est convexe.
Proposition 1.4.8 L’enveloppe supérieure d’une famille de fonction convexes est convexe. Au-
trement dit, si {fi }i∈I est une famille quelconque de fonctions convexes définies sur E et à valeurs
dans R ∪ {+∞}, alors la fonction f définie par f (x) = supi∈I fi (x) est une fonction convexe.
Preuve : Soient x et y deux éléments de E et λ ∈ [0, 1]. Comme pour tout i ∈ I, fi est convexe,
on a
∀ i ∈ I, fi ((1 − λ)x + λy) ≤ (1 − λ)fi (x) + λfi (y)
≤ (1 − λ) sup fk (x) + λ sup fk (y).
k∈I k∈I

Donc
sup fi ((1 − λ)x + λy) ≤ (1 − λ) sup fk (x) + λ sup fk (y).
i∈I k∈I k∈I
Ce qui signifie que f est convexe. 

Remarque 1.4.2 On peut démontrer ce résultat en vérifiant que

epi(f ) = ∩i∈I epi(fi ).
Et comme les fi sont convexes, leurs épigraphes sont convexes et donc l’épigraphe de f aussi. Par
suite f est convexe.

1.4.1 Quelques fonctions convexes particulières

Définition 1.4.7 Soit S un sous ensemble non vide de E. On appelle fonction indicatrice de S,
la fonction notée δS ou δ(., S) définie sur E par
(
0 si x ∈ S
δS (x) = δ(x, S) =
+∞ sinon
On peut se demander pourquoi aller chercher la valeur infinie (et ne pas se contenter de 1
par exemple). Une des raisons est qu’une telle fonction ne serait pas convexe même lorsque S est
convexe. Il est immédiat de montrer que
Proposition 1.4.9 S est convexe si et seulement si δS est convexe.
Définition 1.4.8 Soit C un sous ensemble non vide de E : on appelle fonction support de C la
fonction notée σC ou σ(., C) définie sur E par :
σC (x) = σ(x, C) = sup [hx, yi : y ∈ C] .
y

Proposition 1.4.10 La fonction support est une fonction convexe.

20 CHAPITRE 1. OPTIMISATION STATIQUE

1.4.2 Caractérisation des fonctions convexes différentiables

Dans les résultats qui suivent, nous donnons des caractérisations des fonctions convexes différentia

Théorème 1.4.1 Soit f : E → R différentiable. On a les équivalences suivantes :

1) f est convexe sur E
2) f (y) ≥ f (x) + f ′ (x)(y − x), ∀ x, y ∈ E.

On a des résultats similaires pour la stricte convexité.

Théorème 1.4.2 Soit f : E → R différentiable.

On a les équivalences suivantes :
1) f est strictement convexe sur E.
2) f (y) > f (x) + f ′ (x)(y − x), ∀ x, y ∈ E, x 6= y.

Donnons à présent les résultats concernant la forte convexité.

Théorème 1.4.3 Soit f : E → R différentiable. On a les équivalences suivantes :

1) f est fortement convexe de module r > 0 sur E.
2) f (y) ≥ f (x) + f ′ (x)(y − x) + 2r ky − xk2 , ∀ x, y ∈ E.

Dans le cas où la fonction est deux fois différentiable, on a aussi les caractérisations suivantes.

Théorème 1.4.4 Soit f : E → R deux fois différentiable. On a les équivalences suivantes :

1) f est convexe sur E,
2) pour tout x ∈ E, hf ′′ (x)(h, h) ≥ 0, ∀ h ∈ E.

Le résultat qui suit concerne la stricte convexité.

Théorème 1.4.5 Soit f : E → R deux fois différentiable. Si

∀ x ∈ E, hf ′′ (x)(h, h) > 0, ∀ h ∈ E, h 6= 0,

alors f est strictement convexe.

On a ici une caractérisation de la forte convexité.

Théorème 1.4.6 Soit f : E → R deux fois différentiable. On a les équivalences suivantes :

1) f est fortement convexe de module r > 0 sur E.
2) Pour tout x ∈ E, f ′′ (x)(h, h) ≥ rkhk2 , ∀ h ∈ E.
1.4. FONCTIONS CONVEXES 21

1.4.3 Notions sur les fonctions quasi convexes

On définit :

Définition 1.4.9 Soit f : E → R ∪ {+∞}.

1) f est quasi convexe si

∀ x, y ∈ domf, ∀λ ∈ [0, 1], f ((1 − λ)x + λy) ≤ max{f (x), f (y)}.

2) f est strictement quasi convexe si

∀ x, y ∈ domf, f (x) 6= f (y), ∀λ ∈]0, 1[, f ((1 − λ)x + λy) < max{f (x), f (y)}.

3) f est fortement quasi convexe si

∀ x, y ∈ domf, x 6= y, ∀λ ∈]0, 1[, f ((1 − λ)x + λy) < max{f (x), f (y)}.

On a les définitions similaires concernant la concavité.

Définition 1.4.10 Soit f : Rn → R ∪ {−∞}.

1) f est quasi concave si

∀ x, y ∈ dom(−f ), ∀λ ∈ [0, 1], f ((1 − λ)x + λy) ≥ min{f (x), f (y)}.

2) f est strictement quasi concave si

∀ x, y ∈ dom(−f ), f (x) 6= f (y), ∀λ ∈]0, 1[, f ((1 − λ)x + λy) > min{f (x), f (y)}.

3) f est fortement quasi concave si

∀ x, y ∈ dom(−f ), x 6= y, ∀λ ∈]0, 1[, f ((1 − λ)x + λy) > min{f (x), f (y)}.

En d’autres termes, une fonction f est quasi concave, respectivement strictement quasi concave,
fortement quasi concave si, la fonction −f est quasi convexe, respectivement strictement quasi
convexe, fortement quasi convexe.
On a les exemples suivants.
p
Exemple 1.4.1 1) La fonction ϕ définie sur R par ϕ(t) = |t| est quasi convexe sur R.
2) Les fonctions monotones sur R sont quasi convexes et quasi concaves. D’ailleurs on peut
montrer qu’une fonction ϕ définie sur R est monotone si et seulement si les fonctions ϕ et −ϕ
sont quasi convexes.

On a la caractérisation suivante.
22 CHAPITRE 1. OPTIMISATION STATIQUE

Proposition 1.4.11 Soit f : E → R ∪ {+∞}. On a les équivalences :

1) f est quasi convexe,
2) ∀ λ ∈ R , la section inférieure de niveau λ, Sλ (f ) est convexe.

La démonstration est immédiate.

De même on montre facilement que

Proposition 1.4.12 L’enveloppe supérieure d’une famille de fonctions quasi convexes est quasi
convexe.

Proposition 1.4.13 Toute fonction fortement quasi convexe est strictement quasi convexe et
quasi convexe.

On n’a pas par contre la relation stricte quasi convexité implique quasi convexité comme on
pouvait s’attendre. Il faut en plus l’hypothèse de semi continuité inférieure comme le montre la
proposition suivante.

Proposition 1.4.14 Toute fonction strictement quasi convexe et s.c.i. est quasi convexe.

Preuve : Soit f : E → R ∪ {+∞} une fonction s.c.i. et strictement quasi convexe. Montrons
qu’elle est quasi convexe.
Soit x, y dans domf et λ ∈ [0, 1].
1) Si f (x) 6= f (y), alors comme f est strictement quasi convexe on a

∀ λ ∈ [0, 1], f ((1 − λ)x + λy) < max{f (x), f (y)}.

2) Supposons à présent que f (x) = f (y).

Supposons qu’il existe α ∈]0, 1[ tel que

f ((1 − α)x + αy) > max{f (x), f (y)}.

Posons u = (1 − α)x + αy. On a u ∈ / Sf (x) (f ) qui est fermé car f est s.c.i. . Il existe alors
un voisinage de u inclus dans le complémentaire de Sf (x) (f ). Il existe alors β ∈]0, 1[ tel que :
f (u) > f ((1 − β)u + βx) > f (x).
Posons v = (1 − β)u + βx. On obtient alors :

f (u) > f (v) > f (x). (1.2)

En exprimant x en fonction de u et y, et en considérant l’expression de v, on obtient

1 − α + αβ αβ
v= u− y.
1−α 1−α
Ce qui donne
1−α αβ
u= v+ y.
1 − α + αβ 1 − α + αβ
Alors on a u ∈]v, y[. La stricte quasi convexité et la relation (1.2) donnent :

f (u) < max{f (y), f (v)} = max{f (x), f (v)} = f (v).

Ce qui est en contradiction avec la relation (1.2). Par suite la fonction est quasi convexe. 
1.5. OPTIMISATION STATIQUE 23

1.5 Optimisation statique

1.5.1 Notion d’infimum, supremum, minimum, maximum
On définit ici les notions d’infimum de supremum, minimum et de maximum qui sont des
prérequis pour les démonstrations des résulatst d’existence et d’unicité d’extrema d’une fonction
donnée.

Définition 1.5.1 (Minorant/Majorant) Soit X une partie de R.

m ∈ R ∪ {−∞, +∞} est un minorant de X si et seulement si

∀ x ∈ X, m ≤ x.

M ∈ R ∪ {−∞, +∞} est un majorant de X si et seulement si

∀ x ∈ X, x ≤ M.

Définition 1.5.2 (Infimum/Supremum) Soit X une partie de R.

1) Si X est non vide et admet des minorants, par définition l’infimum de X est le plus grand
des minorants de X. On le note inf(X) ou inf x∈X (x).
Si X est non vide et n’admet pas de minorants, par convention, l’infimum de X est égal à
−∞.
Si X = ∅, par convention son infimum est égal à +∞ : inf(∅) = +∞
2) Si X est non vide et admet des majorants, par définition le supremum de X noté sup(X)
ou supx∈X (x) est le plus petit des majorants de X.
Si X est non vide et n’admet pas de majorants, par convention, le supremum de X est égal à
+∞.
Si X = ∅, par convention sup(∅) = −∞.

Ces notions sont aussi caractérisées par :

Proposition 1.5.1 1) Si X est non vide et admet des minorants,

(
m ≤ x ∀x ∈ X
m = inf(X) ⇔
∀ε > 0, ∃xε ∈ X : m ≤ xε < m + ε.

2) Si X est non vide et admet des majorants,

(
x ≤ M ∀x ∈ X
M = sup(X) ⇔
∀ε > 0, ∃xε ∈ X : M − ε < xε ≤ M.

On a le résultat suivant.

Proposition 1.5.2 Pour tout X ⊂ R, on a supx∈X (x) = − inf x∈X (−x)

24 CHAPITRE 1. OPTIMISATION STATIQUE

Définition 1.5.3 (Suite minimisante/Suite maximisante) Soit X une partie non vide de R.
On appelle suite minimisante de X, toute suite {xk } d’éléments de X telle que

lim xk = inf(X).
k→+∞

On appelle suite maximisante de X, toute suite {xk } d’éléments de X telle que

lim xk = sup(X).
k→+∞

On montre que

Proposition 1.5.3 Si X est une partie non vide R, alors il existe toujours une suite minimisante
de X et une suite maximisante de X.

Preuve : Montrons d’abord l’existence d’une suite minimisante. Comme X est non vide, alors
nécessairement inf(X) ∈ R ∪ {−∞}
i) inf(X) ∈ R. D’après la proposition (1.5.1)
1
∀k ∈ N∗ , ∃xk ∈ X : inf(X) ≤ xk ≤ inf(X) + .
k
La suite {xk } ainsi construite converge vers inf(X).
ii) inf(X) = −∞. X admet seulement −∞ comme minorant. Par conséquent pour tout k ∈ N,
il existe xk ∈ X tel que

xk ≤ −k
La suite {xk } ainsi construite converge vers −∞.
On montre de façon analogue l’existence d’une suite maximisante. 

Définition 1.5.4 (Minimum/Maximum) Soit X une partie de R.

On dit que X a un minimum si inf(X) ∈ X. Dans ce cas, on note min(X) = inf(X).
On dit que X a un maximum si sup(X) ∈ X. Dans ce cas, on note max(X) = sup(X).

1.5.2 Notion de programme mathématique

Soit f une fonction définie sur un ouvert Ω de E et à valeurs dans R̄ = [−∞, +∞] et C une
partie de Ω.

Définition 1.5.5 Un programme mathématique, est un problème de la forme

”Trouver α = inf x∈C f (x) (respectivement β = supx∈C f (x)) et x∗ ∈ C tel que f (x∗ ) = α
(respectivement β).”
On le note symboliquement α = inf x∈C f (x) (respectivement β = supx∈C f (x)) et on l’appelle
problème d’infimum (respectivement problème de supremum).

S’il existe un élément x∗ ∈ C tel que f (x∗ ) = α (respectivement β), le problème est dit
problème de minimisation (respectivement maximisation) et se note symboliquement :

α = min f (x) (respectivement β = max f (x)).

x∈C x∈C

De la proposition 1.5.2 on déduit la relation suivante.

1.5. OPTIMISATION STATIQUE 25

Proposition 1.5.4
sup f (x) = − inf (−f )(x).
x∈C x∈C

La conséquence de cette proposition est que tout problème de programmation mathématique

peut se ramener à un problème de minimisation. Dans tout ce qui suit on considerera le problème
α = inf f (x) (P )
x∈C

On a les définitions suivantes.

Définition 1.5.6 Etant donné le problème (P ),
- la fonction f est dite fonction-objectif,
- α est la valeur optimale de (P ),
- l’ensemble C est appelé ensemble des solutions réalisables ou admissibles de (P ),
- l’ensemble {x ∈ C : f (x) = α} est appelé ensemble des solutions optimales de (P ).
L’ensemble des solutions optimales est noté arg min f (C) pour les problèmes d’infimum et
arg max f (C) pour ceux de supremum.
On montre que
Proposition 1.5.5 Si g est une fonction à une variable strictement croissante, alors l’ensemble
des solutions optimales du programme (P ) est identique à celui de
inf g(f (x)) (P ∗ ).
x∈C

Outre les solutions optimales, on distingue aussi les solutions optimales locales définies comme
suit.
Définition 1.5.7 x∗ ∈ C est dite solution optimale locale de (P ) si
∃ V ∈ V(x∗ ) tel que f (x) ≥ f (x∗ ) ∀ x ∈ C ∩ V.
Ce minimum est dit strict si on a en plus
f (x∗ ) < f (x) ∀ x ∈ C ∩ V ∀ x 6= x∗ ,
où V(x∗ ) désigne l’ensemble des voisinages de x∗ .
Par opposition les solutions optimales sont dites solutions optimales globales.
On a le résultat suivant :
Proposition 1.5.6 Si (P ) est convexe (i.e C et f sont convexes), toute solution optimale locale
de (P ) est globale.
La démonstration est immédiate.
On distingue les problèmes d’optimisation sans contraintes c’est le cas où C = E et avec
contraintes dans le cas contraire.
Dans le cas avec contraintes, très souvent l’ensemble C est défini à l’aide d’équations et/ou
d’inéquations. Par exemple,
 
gi (x) ≤ 0, i = 1, · · · , p
C= x∈E: ,
hj (x) = 0, j = 1, · · · , m
où les fonctions gi et hj sont définies sur E et à valeurs dans R ∪ {+∞}. Dans ce cas les conditions
gi (x) ≤ 0, i = 1, · · · , p et hj (x) = 0, j = 1, · · · , m sont appélées respectivement contraintes
d’inégalité et contraintes d’égalité.
26 CHAPITRE 1. OPTIMISATION STATIQUE

1.5.3 Optimisation sans contraintes

Dans cette partie nous nous intéressons aux problèmes du type

α = inf f (x) (P )
x∈E

où f est une fonction définie sur E et à valeurs dans R ∪ {+∞}

Définition 1.5.8 Une fonction f : E → R ∪ {+∞} est dite inf-compacte si, pour tout λ ∈ R, la
section de niveau inférieure de f , Sλ (f ) = {x ∈ E : f (x) ≤ λ} est compact.

Théorème 1.5.1 Considérons le problème (P ). Si f est propre inf-compacte, l’ensemble des so-
lutions optimales globales de (P ) est un compact non vide et α > −∞.

Preuve : Soit S l’ensemble des solutions optimales de (P ). On a

S = ∩λ>α Sλ (f )

Les ensembles Sλ (f ) sont des compacts non vides emboı̂tés car f est inf-compacte. On en déduit
alors que S est un compact non vide. Soit alors x ∈ S, on a α = f (x) > −∞. Ce qui termine la
démonstration. 
Les résultats qui suivent nous donnent des conditions pour qu’une fonction soit inf-compacte.

Définition 1.5.9 Une fonction f : E → R ∪{+∞} est dite coercive si on a : f (x) −→ +∞ quand
kxk −→ +∞.

On a alors le corollaire suivant :

Corollaire 1.5.1 Si f est s.c.i. propre et coercive, alors f est inf-compacte.

En ce qui concerne l’unicité de la solution optimale on a le théorème ci-dessous.

Théorème 1.5.2 Si f est strictement convexe, alors le problème (P ) a au plus une solution
optimale globale.

Les conditions que nous donnons ici sont des conditions différentielles qui portent sur la dérivée
de la fonction à minimiser.
On définit :

Définition 1.5.10 Soit f : E → R une fonction différentiable. On dit que x∗ est un point sta-
tionnaire ou critique de f si f ′ (x∗ ) = 0.

On a le théorème :

Théorème 1.5.3 (Condition nécessaire d’optimalité du premier ordre) Si f : E → R

est une fonction différentiable, et x∗ réalise un minimum local (global) de (P ), alors f ′ (x∗ ) = 0.
1.5. OPTIMISATION STATIQUE 27

Preuve : Soit x∗ réalisant un minimum local de f sur E. Alors pour tout h ∈ E et t > 0
suffisamment petit,

f (x∗ + th) = f (x∗ ) + tf ′ (x∗ )(h) + kthkε(th) ≥ f (x∗ ).

On obtient alors
tf (x∗ )(h) + kthkε(th) ≥ 0.
En divisant par t > 0, et faisant tendre t vers 0, on obtient

f ′ (x∗ )(h) ≥ 0

pour tout h ∈ E, donc nécessairement f (x∗ ) = 0. Donc la condition est nécessaire. 

Dans le cas convexe, la condition nécessaire du premier ordre ci-dessus est suffisante.

Théorème 1.5.4 Soit f : E → R une fonction convexe et différentiable. Un point x∗ réalise un

minimum global de f sur E si et seulement si f ′ (x∗ ) = 0.

Preuve : On sait que la condition est nécessaire. Montrons à présent qu’elle est suffisante.
Soit x∗ un point tel que f ′ (x∗ ) = 0. Comme f est convexe alos, on a

f (x) ≥ f (x∗ ) + f ′ (x∗ )(x − x∗ ) ∀ x ∈ E.

Par hypothèse, on a ∇f (x∗ ) = 0 ; il vient alors que

f (x) ≥ f (x∗ ) ∀ x ∈ E.

Ce qui termine la démonstration. 

Théorème 1.5.5 (Condition nécessaire d’optimalité du second ordre) Soit f : E → R

une fonction deux fois différentiable sur E. Si x∗ est un minimum local (global) de f sur E, alors
on a :
1) f ′ (x∗ ) = 0,
2) f ′′ (x∗ )(h, h) ≥ 0 pour tout h ∈ E.

Preuve : Soit x∗ un minimum local de f sur E. On sait que la condition 1) est satisfaite. Il reste
à montrer la condition 2). Par définition du minimum local, il existe un voisinage V de x∗ dans E
tel que f (x) ≥ f (x∗ ) pour tout x ∈ V .
Soit h ∈ E. En utilisant le developpement de Taylor au voisinage de x∗ , à l’ordre deux et la
condition 1), on a : pour t suffisamment petit,

t2 ′′ ∗
∗ ∗
f (x + th) = f (x ) + f (x )(h, h) + t2 ε(th),
2
avec ε continue et limt→0 ε(th) = 0.
Pour t 6= 0 suffisamment petit de sorte que x∗ + th ∈ V , on a :
f (x∗ + th) − f (x∗ ) 1
0≤ 2
= f ′′ (x∗ )(h, h) + ε(th).
t 2
En passant à la limite, t tendant 0, on obtient : f ′′ (x∗ )(h, h) ≥ 0. 
On a aussi une condition suffisante d’optimalité.
28 CHAPITRE 1. OPTIMISATION STATIQUE

Théorème 1.5.6 (Condition suffisante d’optimalité du second ordre) Soit f : E → R

une fonction deux fois différentiable sur E. Si x∗ est tel que f ′ (x∗ ) = 0, et f ′′ (x∗ )(h, h) > 0
pour tout h ∈ E h 6= 0, alors x∗ est un point de minimum local strict de f .

Preuve : Il existe λ > 0 tel que

∀ h ∈ E, f ′′ (x∗ )(h, h) ≥ λkhk2 .

D’après la formule de Taylor on a :

1
f (x) − f (x∗ ) = f ′ (x∗ )(x − x∗ ) + f ′′ (x∗ )((x − x∗ ), (x − x∗ )) + kx − x∗ k2 ε(x − x∗ )
2
avec ε continue et limx→x∗ ε(x − x∗ ) = 0.
On a alors  
∗ ∗ 2 λ
f (x) − f (x ) ≥ kx − x k + ε(x − x∗ )
2
λ
Pour x suffisamment proche de x∗ , la quantité 2
+ ε(x − x∗ ) est du signe de λ, c’est-à-dire
strictement positif. 

1.5.4 Optimisation avec contraintes

Dans cette section on s’intéresse au problème

α = inf f (x) (P )
x∈C

où C est une partie de E et f : E → R ∪ {+∞}.

On montre que :

Théorème 1.5.7 Si C est compact, f est s.c.i. propre, C ∩ domf 6= ∅, alors le problème (P )
admet au moins une solution optimale et α > −∞.

En ce qui concerne le cas où C est non borné, on définit d’abord la notion de fonction coercive.

Définition 1.5.11 La fonction f est coercive sur C, si C est non borné et

lim f (x) = +∞
kxk → +∞ .
x∈C

On a le résultat d’existence suivant :

Théorème 1.5.8 Si f est inf compacte, propre, C fermé et C ∩ domf 6= ∅, alors le problème (P )
admet au moins une solution optimale et α > −∞.

Preuve :
Soit {xk } une suite minimisante de f sur C.
La suite {xk } est bornée. En effet si ça n’était pas le cas, il existerait une sous suite {xkl } de {xk }
telle que kxkl k −→ +∞. Comme f est inf compacte, cela impliquerait que α = liml f (xkl ) = +∞.
Ce qui est impossible car f est finie en au moins un point de C (C ∩ domf 6= ∅).
1.5. OPTIMISATION STATIQUE 29

La suite {xk } étant bornée, il existe une sous suite {xkl } de {xk } qui converge vers un point x̄
de C car C est fermé.
Comme f est inf compacte, elle est s.c.i. et donc on a

α = lim f (xkl ) ≥ f (lim xkl ) = f (x̄).

l l

Par suite α = f (x̄) ∈ R. 

On en déduit les résultats suivants :

Corollaire 1.5.2 Si f est s.c.i. propre, coercive sur C, fermé, avec C ∩ domf 6= ∅, alors (P )
admet au moins une solution optimale.

On a le résultat sur l’unicité de la solution optimale.

Théorème 1.5.9 Si C est convexe et f strictement convexe sur C alors (P ) admet au plus une
solution optimale.

A présent, on donne des conditions d’optimalité dans le cas où f est différentiable.

Théorème 1.5.10 Supposons f différentiable en x∗ ∈ C. Si x∗ est un point de minimum local de

f sur C alors on a :
f ′ (x∗ )(d) ≥ 0, ∀ d ∈ T (C, x∗ ).

On en déduit le corollaire suivant.

Corollaire 1.5.3 Si f est différentiable en x∗ ∈ int(C), alors si x∗ est un point de minimum local
de f sur C, on a f ′ (x∗ ) = 0.

Cette condition nécessaire d’optimalité est suffisante dans le cas convexe.

Proposition 1.5.7 Si C est convexe et f convexe sur C et différentiable en x∗ ∈ C alors x∗

réalise un minimum global de f sur C si et seulement si f ′ (x∗ )(x − x∗ ) ≥ 0, ∀ x ∈ C.
30 CHAPITRE 1. OPTIMISATION STATIQUE
Chapitre 2

Calcul des variations

2.1 Introduction, Exemples

Pour qu’une action se déroulant sur une période de temps [0, T ] soit efficace, il est nécessaire
qu’elle soit planifiée. En effet, les décisions présentes affectent les évènements futurs en rendant pos-
sibles certaines opportunités, en interdisant d’autres et en modifiant le coût d’autres encore. Le cal-
cul des variations traite les problèmes de planification par des méthodes d’analyse mathématique.
1) Une entreprise a reçu une commande de B unités d’un produit à livrer à un moment T .
Elle cherche un calendrier de production pour satisfaire à cette demande dans le délai spécifié
et à coût minimum sachant que :
a) Le coût de production unitaire varie proportionnellement à la vitesse de production.
b) Les frais de stockage d’une unité de produit par unité de temps sont constants.
Notons x(t) le stock cumulé à l’instant t. Alors : x(0) = 0 et x(T ) = B.
Comme x(t) est la production cumulée sur la période [0, t], donc la variation de stock ∆x(t)
est aussi la variation de production.
Si c1 est le coefficient de proportionnalité relatif au coût de production unitaire, on a :
∆k(t)
∆x(t)
∆x(t)
= c1
∆t

(∆k(t) étant le coût de production sur [t, t + ∆t]).

Ce qui est équivalent à :
∆x(t)
∆k(t) = c1 ∆x(t).
∆t
Les frais de stockage ∆S(t) sur [t, t + ∆t] sont tels que
∆S(t)
= c2
x(t)∆t
soit ∆S(t) = c2 x(t)∆t.
Ainsi, durant la période [t, t + ∆t], la dépense totale de l’entreprise est égale à :
∆x(t)
c1 ∆x(t) + c2 x(t)∆t = [c1 ẋ(t)2 + c2 x(t)]∆t + o(∆t).
∆t
Soit
F (t, x(t), ẋ(t)) = c1 ẋ(t)2 + c2 x(t).

31
32 CHAPITRE 2. CALCUL DES VARIATIONS

L’objectif de l’entreprise est de déterminer la vitesse de production ẋ(t) (et donc le stock x(t))
pour 0 ≤ t ≤ T de façon à minimiser
Z T
J(x) = F (t, x(t), ẋ(t))dt
0

sachant que 
 x(0) = 0
x(T ) = B

ẋ(t) ≥ 0 ∀t ∈ [0, T ].

2) Un capital productif K(t) génère un profit brut P (K(t)) Il se déprécie à un taux constant
b. Donc sa variation instantanée est

K̇(t) = I(t) − bK(t) où I(t) est l’investissement.

Soit C(I(t)) le coût de l’investissement et r le taux d’actualisation (escompte). L’entreprise

cherche à maximiser son bénéfice net sur une période [0, T ]. C’est-à-dire à maximiser
Z T
e−rt [P (K(t)) − c(K̇(t) + bK(t))]dt sachant que K0 (0) = K0 K(T ) ≥ 0.
0

3) Soit déterminer la plus courte distance dans le plan entre deux points (t0 , x0 ) et (t1 , x1 ). On
sait que dans le triangle rectangle le carré de l’hypothénuse est égal à la somme des carrés des
autres côtés
Pour une petite distance dl on aura alors
p p
dl = (dt)2 + (dx)2 = 1 + ẋ(t)2 dt.

Donc le problème revient à résoudre le problème

Z t1  
p x(t0 ) = x0
min 2
1 + ẋ(t) dt .
t0 x(t1 ) = x1

Ces trois exemples mettent en évidence l’importance du calcul des variations c’est-à-dire de la
résolution des problèmes pouvant s’énoncer de la façon suivante :
Etant donnés t0 , t1 ∈ R avec t0 < t1 , et F : [t0 , t1 ] × Rn × Rn → R une fonction de classe C 1 ,
déterminer les applications
x : [t0 , t1 ] → Rn
1) minimisant (maximisant) la fonctionnelle
Z t1
f (x) = F (t, x(t), ẋ(t))dt
t0

2) vérifiant les contraintes

a) x ∈ C 1 ([t0 , t1 ], Rn )
b) x(t0 ) = x0
c) x(t1 ) − x1 ∈ C(I, J, K)
où x0 , x1 ∈ Rn sont donnés, I, J, K sont des sous-ensembles d’indices de {1, · · · , n} 2 à 2
disjoints et  
 ξi ≤ 0 i ∈ I 
C(I, J, K) = ξ ∈ Rn : ξ j ≥ 0 j ∈ J .
 k 
ξ =0 k∈K
2.2. PROBLÈME ÉLÉMENTAIRE DU CALCUL DES VARIATIONS CLASSIQUE 33

On le note symboliquement
 
Z t1 x ∈ C 1 ([t0 , t1 ], Rn ),
(P) 
α = inf f (x) = F (t, x(t), ẋ(t))dt : x(t0 ) = x0 , .
t0 x(t1 ) − x1 ∈ C(I, J, K)
Dans ce problème, x est appelée variable d’état, les conditions x(t0 ) = x0 et x(t1 ) − x1 ∈
C(I, J, K) sont dites conditions aux limites.
Si I = J = K = ∅, on dit que la valeur terminale de la variable d’état n’est pas astreinte.
On dira que le critère du problème (P) est à coût terminal si on a
Z t1
f (x) = F (t, x(t), ẋ(t))dt + G(x(t1 ))
t0

où G : Rn → R est une fonction de classe C 1 .

2.2 Problème élémentaire du calcul des variations clas-

sique
On considère le problème :
Rt
min f (x) = t01 F (t, x(t), ẋ(t)dt

 x(t0 ) = x0
x(t1 ) = x1 où les points (t0 , x0 ), (t1 , x1 ) sont donnés .

x ∈ C 1 ([t0 , t1 ], R)
où
F : [t0 , t1 ] × R × R → R
est une fonction continue en (t, x, ẋ) et de classe C 1 par rapport à la 2ème et 3eme variable.
Signalons que même si la 3ème variable de F est la dérivée par rapport au temps de la 2ème
variable, F est vue comme une fonction de 3 variables indépendantes. Ainsi si F (a, b, c) = a2 +
bc − c2 , on a F (t, x, ẋ) = t2 + xẋ − ẋ2 .
Les dérivées partielles par rapport à la deuxième variable x et à la troisième variable ẋ seront
notées Fx et Fẋ respectivement.

2.2.1 Conditions nécessaires d’optimalité du premier ordre

On rappelle les résultats suivants :
∂θ
Proposition 2.2.1 (Règle de Leibnitz) Soit θ(s, r) continue avec une dérivée partielle ∂r
conti-
nue dans un rectangle du plan (s, r) :
(
a≤s≤b
.
r ≤ r ≤ r̄
R B(r)
Soit A(r) et B(r) de classe C 1 . Si µ(r) = A(r)
θ(s, r)ds, alors µ est derivable et
Z B(r)
′ ′ ′ ∂θ
µ (r) = θ(B(r), r)B (r) − θ(A(r), r)A (r) + (s, r)ds.
A(r) ∂r
34 CHAPITRE 2. CALCUL DES VARIATIONS

Cette règle permet de dériver une intégrale par rapport à un paramètre sous le signe intégral.

Exemple 2.2.1

Si Z r
V (r) = e−rx P (x)dx
r2

alors Z r
dV (r) 2 3
= P (r)e−r − 2P (r 2)re−r − xe−rx P (x)dx.
dr r2

Rt
Proposition 2.2.2 Si g est une fonction donnée continue sur [t0 , t1 ] et vérifie t01 g(t)h′ (t)dt = 0
pour toute fonction h de classe C 1 sur [t0 , t1 ] avec h(t0 ) = h(t1 ) = 0, alors la fonction g est
constante sur [t0 , t1 ].

Preuve :
Soit c la valeur moyenne de g sur [t0 , t1 ] c’est-à-dire :
Z t1
1
c= g(t)dt.
t1 − t0 t0

Pour toute fonction h vérifiant les hypothèses, on a :

Z t1 Z t1
′
[g(t) − c]h (t)dt = g(t)h′ (t)dt − c[h(t1 ) − h(t0 )] = 0.
t0 t0

En particulier pour Z t
h(t) = [g(s) − c]ds,
t0

on a h′ (t) = g(t) − c alors

Z t1 Z t1
′
[g(t) − c]h (t)dt = [g(t) − c]2 dt = 0.
t0 t0

Donc g(t) = c ∀t ∈ [t0 , t1 ]. 

Proposition 2.2.3 Si g et ϕ sont continues sur [t0 , t1 ] et si

Z t1
[g(t)h(t) + ϕ(t)h′ (t)]dt = 0
t0

pour toute fonction h C 1 sur [t0 , t1 ] avec h(t1 ) = h(t0 ) = 0, alors la fonction ϕ est dérivable et
ϕ′ (t) = g(t) ∀t ∈ [t0 , t1 ].

Preuve :
Puisque h est dérivable, on peut intégrer par partie
Z t1 Z t1
g(t)h(t)dt = − G(t)h′ (t)dt
t0 t0
2.2. PROBLÈME ÉLÉMENTAIRE DU CALCUL DES VARIATIONS CLASSIQUE 35

où Z t
G(t) = g(s)ds
t0
car h(t1 ) = h(t0 ) = 0.
Il vient alors
Z t1 Z t1
′
0= [g(t)h(t) + ϕ(t)h (t)]dt = [ϕ(t) − G(t)]h′ (t)dt.
t0 t0

D’après la proposition (2.2.2) ci-dessus,

ϕ(t) − G(t) = cte ∀t ∈ [t0 , t1 ].
Ce qui implique que
ϕ(t) = G(t) + cte ∀t ∈ [t0 , t1 ]
c’est-à-dire Z t
ϕ(t) = g(s)ds + cste ∀t ∈ [t0 , t1 ].
t0
′
Donc ϕ est dérivable sur [t0 , t1 ] et ϕ (t) = g(t). 

Proposition 2.2.4 Soit g une fonction continue sur [t0 , t1 ]. Si

Z t1
g(t)h(t)dt = 0
t0

pour toute fonction h continue sur [t0 , t1 ] telle que h(t1 ) = h(t0 ) = 0 alors g(t) = 0 ∀t ∈ [t0 , t1 ].
Preuve :
Supposons qu’il existe t tel que g(t) > 0. Comme g est continue, on a g(t) > 0 sur un intervalle
[a, b] ⊂ [t0 , t1 ].
Soit 
(t − a)(b − t) si a ≤ t ≤ b
h̄(t) =
0 sinon
On a Z Z
t1 b
g(t)h̄(t)dt = g(t)(t − a)(b − t)dt > 0.
t0 a
car g(t)(t − a)(b − t) > 0 sur ]a, b[.
Or h̄ est continue sur [t0 , t1 ] et vérifie h̄(t0 ) = h̄(t1 ) = 0. Ce qui est contradictoire. 

Théorème 2.2.1 Soit F : [t0 , t1 ] × R × R → R une fonction continue en (t, x, ẋ) et de classe C 1
par rapport à la 2ème et 3ème variable.
Une condition nécessaire d’optimalité pour le problème
R t1
min
 f (x) = t0
F (t, x(t), ẋ(t))dt
 1
 x ∈ C ([t0 , t1 ], R) (P)
x(t0 ) = x0

 x(t ) = x
1 1

est :
d
Fẋ (t, x(t), ẋ(t)) = Fx (t, x(t), ẋ(t)) ∀t ∈ [t0 , t1 ] (Equation d’Euler)
dt
(les solutions de l’équation d’Euler sont dites extrémales du critère).
36 CHAPITRE 2. CALCUL DES VARIATIONS

Preuve :
Supposons que x∗ définie sur [t0 , t1 ] est une solution optimale du problème.
Soit x une solution réalisable. On définit la fonction h telle que h(t) est égale à la déviation
entre la courbe optimale et celle de x(t) à l’instant t : h(t) = x(t) − x∗ (t).
Puisque x∗ et x sont réalisables, on a :

h(t0 ) = x(t0 ) − x∗ (t0 ) = x0 − x0 = 0,
h(t1 ) = x(t1 ) − x∗ (t1 ) = x1 − x1 = 0
(on dira qu’une déviation d est réalisable si la fonction x∗ + d est réalisable.)
Pour toute constante réelle a, la fonction y telle que y(t) = x∗ (t) + ah(t) est réalisable.
Pour x∗ et h fixés on a
Z t1 Z t1
∗
f (x + ah) = F (t, y(t), ẏ(t)dt = F (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t)dt.
t0 t0

qui est une fonction g(a) de a, c’est-à-dire

g(a) = f (x∗ + ah).
Puisque x∗ est une solution optimale alors g atteint son minimum en a = 0. Et comme g est
dérivable, alors on a g ′ (0) = 0.
On a : Rt
g ′ (a) = t01 dF (t, x∗ + ah(t), ẋ∗ (t) + ah′ (t)dt
R t1 da
= t0 [Fx (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))h(t)
+Fẋ (t, ẋ(t) + ah(t), ẋ∗ (t) + ah′ (t))h′ (t)]dt
Ce qui donne Z t1
′
g (0) = [Fx (t, x∗ (t), ẋ∗ (t))h(t) + Fẋ (t, x∗ (t), ẋ∗ (t))h′ (t)]dt.
t0
Donc Z t1
′
g (0) = 0 ⇔ [Fx (t, x∗ (t), ẋ∗ (t))h(t) + Fẋ (t, x∗ (t), ẋ∗ (t))h′ (t)]dt = 0.
t0

Signalons que la condition g ′(0) = 0 est nécessaire puisque x∗ est optimale.

Comme la fonction h fixée est choisie de façon arbitraire mais devant vérifier seulement les
conditions d’être C 1 avec h(t1 ) = h(t0 ) = 0, on doit avoir :
Z t1
[Fx (t, x∗ (t), ẋ∗ (t))h(t) + Fẋ (t, x∗ (t), ẋ∗ (t))h′ (t)]dt = 0
t0

pour toute fonction h vérifiant les conditions ci-dessus.

Comme Fx et Fẋ sont continues par hypothèses alors d’après la proposition (2.2.3) Fẋ est
dérivable et on a :
d
Fẋ (t, x∗ (t), ẋ(t)) = Fx (t, x∗ (t), ẋ∗ (t)) ∀t ∈ [t0 , t1 ].
dt
Ce qui termine la démonstration. 

Remarque 2.2.1 1) Il est important de noter que l’équation d’Euler est vérifiée pour tout t ∈
[t0 , t1 ].
2) L’équation d’Euler est aussi une condition nécessaire d’optimalité pour un problème de
maximisation.
2.2. PROBLÈME ÉLÉMENTAIRE DU CALCUL DES VARIATIONS CLASSIQUE 37

Autres formes de l’équation d’Euler

On a d’autres formes de l’équation d’Euler.
Il faut avoir à l’esprit que Fẋ est une fonction de trois variables (t, x, ẋ) et comme dF
dt
ẋ
est la
dérivée totale par rapport à t, on a dans le cas où F et x sont deux fois dérivables, on a :
d
Fẋ (t, x, ẋ) = Fẋt + Fẋx ẋ + Fẋẋ ẍ.
dt
Donc l’équation d’Euler s’écrit :

Fx = Fẋt + Fẋx ẋ + Fẋẋ ẍ (2.1)

L’équation d’Euler est alors une équation différentielle du second ordre de x(t) à résoudre avec les
conditions aux limites.
En général les coefficients dans (2.1) (les dérivées partielles de F ) ne sont pas constants et
l’équation différentielle est assez difficile à résoudre.

Exemple 2.2.2

1) On considère le problème ci-dessous.

RT 2
min
 0
ẋ (t)dt
x(0) = 0
x(T ) = B

où T et B sont donnés.

On a F (t, x, ẋ) = ẋ2 , ce qui implique que

Fẋ = 2ẋ, Fẋẋ = 2

et les autres dérivées partielles secondes sont nulles.

Comme F est indépendante de x donc Fx = 0, alors l’équation d’Euler est :

2ẍ(t) = 0 ⇔ ẍ(t) = 0,

soit
ẋ(t) = c1 ⇒ x(t) = c1 t + c2 .
Comme x(0) = 0, alors c2 = 0.
Aussi on a x(T ) = B : alors c1 = B
T
.
B
Donc x(t) = T t pour tout t tel que 0 ≤ t ≤ T.
2) Soit le problème : R1
min
 0
[[ẋ(t)]2 + 10tx(t)]dt
x(0) = 1
x(1) = 2
Puisque F (t, x, ẋ) = ẋ2 + 10tx on a
dFẋ
Fx = 10t, Fẋ = 2ẋ et = 2ẍ.
dt
Donc l’équation d’Euler est :
10t = 2ẍ ⇔ ẍ(t) = 5t.
38 CHAPITRE 2. CALCUL DES VARIATIONS

2
Ce qui implique que ẋ(t) = 5t2 + c1 avec c1 une constante.
Donc x(t) = 65 t3 + c1 t + c2 avec c2 une constante.
Comme x(0) = 1 on obtient c2 = 1. On a aussi la condition x(1) = 2 soit donc l’équation
2 = 56 + c1 + c2 . On trouve alors c1 = 61 .
En définitive on a :
5 1
x(t) = t3 + t + 1.
6 6
Une autre forme de l’Equation d’Euler est
Z t
∗ ∗
Fẋ (t, x (t), ẋ (t)) = Fx (s, x∗ (s), ẋ∗ (s))ds.
t0

car il suffit de dériver cette dernière pour avoir l’équation d’Euler.

Formes simplifiées de l’équation d’Euler
Donnons à présent quelques formes simplifiées de l’équation d’Euler.
1) Cas où F (t, x, ẋ) = F (t, ẋ)
Ici F ne depend que de t et de ẋ : on a alors Fx = 0. Donc l’équation d’Euler s’écrit :
d
Fẋ = 0 ⇒ Fẋ = cte.
dt
Exemple 2.2.3
Soit le problème
R t1
min
 t0
[3ẋ − tẋ2 ]dt
x(t0 ) = x0
x(t1 ) = x1
Ici F ne depend pas de x. L’équation d’Euler est donc :
Fẋ = 3 − 2tẋ = c0 (constante)
Ce qui est équivalent à :
3 − c0
tẋ = = c1 .
2
On obtient donc ẋ = ct1 soit x(t) = c1 ln t + c2 .
Les constantes c1 et c2 sont obtenues en considérant les conditions aux limites, à savoir :
x0 = c1 ln t0 + c2 x1 = c1 ln t1 + c2 .

2) Cas où F (t, x, ẋ) = F (x, ẋ)

Si on a F = F (x, ẋ), alors
dF
= Fx ẋ + Fẋ ẍ.
dt
En tenant compte de l’équation d’Euler : dF
dt
ẋ
= Fx , on obtient :
dF dFẋ d
= ẋ + Fẋ ẍ = (ẋFẋ )
dt dt dt
soit
d
(F − ẋFẋ ) = 0.
dt
Ce qui implique que
F − ẋFẋ = cte.
2.2. PROBLÈME ÉLÉMENTAIRE DU CALCUL DES VARIATIONS CLASSIQUE 39

Exemple 2.2.4
Soit à résoudre le problème qui consiste à déterminer parmi toutes les courbes joignant (t0 , x0 )
et (t1 , x1 ), celle qui génère une surface de révolution minimale autour de l’axe de t.
Cela revient à résoudre le problème :
R t1 2 21
min
 t0
2πx[1 + ẋ ] dt
x(t0 ) = x0 ,
x(t1 ) = x1 .
Sans perdre de généralités on peut ignorer la constante 2π.
On a
xẋ
Fẋ = 1
(1 + ẋ2 ) 2
l’équation d’Euler est : F − ẋFẋ = cte. Soit :

2 1 xẋ2 1
x(1 + ẋ ) − 2
1 = c ⇔ x = c(1 + ẋ2 ) 2 .
(1 + ẋ2 ) 2

D’où
x2 − c2
x2 = c2 + c2 ẋ2 ⇔ ẋ2 = .
c2
On a alors r
x2 − c2
ẋ = ± ,
c2
et donc
cdx 1
1 = dt ⇒ c ln(x + (x2 − c2 ) 2 ) = t + k.
(x2 − c2 ) 2

Attention
les méthodes spéciales (c’est-à-dire les équations d’Euler simplifiées ) ci-dessus ne sont pas les
voies les plus simples toujours.
Exemple 2.2.5
Considérons le problème :
R t1
min
 t0
(2x2 + 3xẋ − 4ẋ2 )dt
x(t0 ) = x0 on a F = F (x, ẋ)
x(t1 ) = x1
Si on considère l’équation d’Euler sous la forme
F − ẋFẋ = cte
on aura à résoudre l’équation
2x2 + 4ẋ2 = c
qui est une équation différentielle non linéaire. Mais par contre si on considère l’équation d’Euler
Fx = Fẋt + Fẋx ẋ + Fẋẋ ẋ
on obtient
4x + 3ẋ = 3ẋ − 8ẍ
⇔ 4x = −8ẍ
⇔ 2ẍ + x = 0
qui est une équation différentielle du 2ème ordre à coefficients constants et qui est plus facile à
résoudre.
40 CHAPITRE 2. CALCUL DES VARIATIONS

2.2.2 Conditions nécessaires et suffisantes d’optimalité

Théorème 2.2.2 Supposons que F est continue en (t, x, ẋ), de classe C 1 par rapport à x et ẋ et
convexe par rapport à (x, ẋ).
Alors l’équation d’Euler est une condition nécessaire et suffisante d’optimalité pour le problème
R t1
min
 f (x) = t0 F (t, x(t), ẋ(t))dt

 x(t0 ) = x0 .
x(t1 ) = x1

 x ∈ C 1 ([t , t ], R)
0 1

Preuve : On sait que la condition est nécessaire.

Supposons à présent que x∗ vérifie l’équation d’Euler.
Soit x une solution réalisable. On a
Rt
f (x) − f (x∗ ) = t01 [F (t, x(t), ẋ) − F (t, x∗ (t), ẋ∗ (t))]dt
R t1
≥ t0
[(x(t) − x∗ (t))Fx (t, x∗ (t), ẋ∗ (t)) + (ẋ(t) − ẋ∗ (t))Fẋ (t, x∗ (t), ẋ∗ (t))]dt .
R t1 d
≥ t0
(x(t) − x∗ (t))[Fx (t, x∗ (t), ẋ∗ (t)) − F (t, x∗ (t), ẋ∗ (t))]dt
dt ẋ
=0

Donc x∗ est optimale. 

2.2.3 Conditions d’optimalité du second ordre

En optimisant une fonction f de classe C 2 d’une variable réelle x sur un ouvert, on sait que si
∗
x minimise f alors on a :  ′ ∗
f (x ) = 0
f ”(x∗ ) ≥ 0.
En outre Si x∗ est tel que f ′ (x∗ ) = 0 et f ”(x∗ ) > 0, alors x∗ est un minimum local strict de f .
En d’autres termes, si la fonction f est stationnaire en x∗ et est localement convexe dans un
voisinage de x∗ alors x∗ est un minimum local.
Ici des conditions analogues peuvent être développées pour les problèmes élémentaires de calcul
des variations classiques.
Avant de donner ces conditions montrons le résultat suivant.

Lemme 2.2.1 Soit P et Q des fonctions continues sur un intervalle ouvert J contenant [t0 , t1 ].
Si on a Z t1
[P (t)(h′ (t))2 + Q(t)(h(t))2 ]dt ≥ 0
t0

pour toute fonction h continue sur J et de classe C 1 sur [t0 , t1 ] avec h(t0 ) = h(t1 ) = 0 alors
P (t) ≥ 0 ∀t ∈ [t0 , t1 ].

Preuve :
Supposons qu’il existe un élément t̄ de [t0 , t1 ] tel que P (t̄) < 0. Puisque P est continue, il existe
un intervalle [s − c, s + c] inclus dans [t0 , t1 ] tel que

∀t ∈ [s − c, s + c] P (t) < b < 0.

2.2. PROBLÈME ÉLÉMENTAIRE DU CALCUL DES VARIATIONS CLASSIQUE 41

Posons 
sin2 π( t−s ) pour s−c≤t≤s+c
h(t) = c
0 ailleurs
Alors ∀t ∈ [s − c, s + c]
2π π π(t − s)
h′ (t) = sin θ cos θ = sin 2θ où θ= .
c c c
Alors h est continue sur [t0 , t1 ] et de classe C 1 sur [t0 , t1 ] avec
h(t0 ) = h(t1 ) = 0.
Donc
R t1
t0
[P (t)(h′ (t))2 + Q(t)(h(t))2 ]dt ≥ 0
R s+c R s+c 2
⇔ s−c
Q(t) sin4 dt + s−c
P (t) πc2 sin2 2θdt ≥ 0
or
Z s+c Z 2π
π2 bπ bπ 2 2π(t − s)
P (t) 2 sin2 2θdt ≤ sin xdx = 2
(x = 2θ = ).
s−c c 2c −2π c c
Q étant continue sur [s − c, s + c], il existe un nombre réel M tel que
∀t ∈ [s − c, s + c] − M ≤ Q(t) ≤ M.
Alors Z s+c Z s+c
4
Q(t) sin dt ≤ (M)dt = 2cM.
s−c s−c
Donc Z t1
bπ 2
[P (t)(h′ (t))2 + Q(t)(h(t))2 ]dt ≤ + 2cM.
t0 c
bπ 2 bπ 2
Par ailleurs + 2cM < 0 ⇔ 2M
c
< −c2 .
Donc en choisissant c suffisamment petit nous pouvons obtenir
Z t1
[P (t)(h′ (t))2 + Q(t)(h(t))2 ]dt < 0
t0

ce qui contredit le fait que

Z t1
[P (t)(h′ (t))2 + Q(t)(h(t))2 ]dt ≥ 0
t0

pour toute fonction h de classe C 1 sur [t0 , t1 ] tel que h(t1 ) = h(t0 ) = 0. D’où le résultat. 
Montrons à présent la condition nécessaire d’optimalité du second ordre de Legendre.

Théorème 2.2.3 (Condition nécessaire d’optimalité du second ordre de Legendre)

On considère le problème
R t1
min
 f (x) = t0 F (t, x(t), ẋ(t))dt

 x(t0 ) = x0
x(t1 ) = x1

 x ∈ C 1 ([t , t ], R)
0 1
42 CHAPITRE 2. CALCUL DES VARIATIONS

Supposons que F est continue et de classe C 2 par rapport à x et ẋ et Fxẋ est de classe C 1 par
rapport à t.
Une condition nécessaire d’optimalité pour le problème ci-dessus est

 dFẋ
 i)Fx (t, x(t), ẋ(t)) = dt (t, x(t), ẋ(t)) ∀t ∈ [t0 , t1 ],

 ii)F (t, x(t), ẋ(t)) ≥ 0 ∀t ∈ [t , t ].
ẋẋ 0 1

La condition i) est l’équation d’Euler et ii) est celle de Legendre.

Preuve : Supposons que x∗ est une solution optimale du problème et considérons un élément h
de classe C 1 sur [t0 , t1 ] tel que h(t1 ) = h(t0 ) = 0, et la fonction réelle en a
Z t1
∗
g(a) = f (x (t) + ah(t)) = F (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))dt.
t0

Alors g est dérivable dans un voisinage de 0 et admet 0 comme un minimum local. On a

Z t1
′
g (a) = [Fx (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))h(t) + Fẋ (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))h′ (t)]dt.
t0

La fonction g est aussi deux fois derivable dans un voisinage de 0 avec

Rt
g”(a) = t01 [Fxx (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))(h(t))2 +
2Fxẋ (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))h(t)h′ (t)
+Fẋ2 (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))(h′ (t))2 ]dt
On doit donc avoir g ′ (0) = 0 et g”(0) ≥ 0.
Soit Z t1
′
g (0) = [Fx (t, x∗ (t), ẋ∗ (t))h(t) + Fẋ (t, x∗ (t), ẋ∗ (t))h′ (t)]dt = 0 (2.2)
t0
et R t1
g”(0) = [Fxx (t, x∗ (t), ẋ∗ (t))(h(t))2 + 2Fxẋ (t, x∗ (t), ẋ∗ (t))h(t)h′ (t)+
t0 (2.3)
Fẋ2 (t, x∗ (t), ẋ∗ (t))(h′ (t))2 ]dt ≥ 0.
Or Z Z
t1 t1
∗ ∗ ′ d
Fxẋ (t, x (t), ẋ (t))h(t)h (t)dt = − Fxẋ (t, x∗ (t), ẋ∗ (t))(h(t))2 dt.
t0 t0 dt
La condition (2.2) donne l’équation d’Euler.
La condition (2.3) s’écrit encore
Z t1
d 2
g”(0) = [(Fxx (t, x∗ (t), ẋ∗ (t)) − Fxẋ (t, x∗ (t), ẋ∗ (t)))h2 (t) + Fẋ2 h′ (t)]dt ≥ 0.
t0 dt
Posons
d
P (t) = Fẋ2 (t, x∗ (t), ẋ∗ (t)) et Q(t) = Fxx (t, x∗ (t), ẋ∗ (t)) − Fxẋ (t, x∗ (t), ẋ∗ (t)).
dt
Alors d’après le lemme (2.2.1) ci-dessus on doit avoir P (t) ≥ 0 ∀t ∈ [t0 , t1 ], c’est-à-dire :

Fẋ2 (t, x∗ (t), ẋ∗ (t)) ≥ 0 ∀t ∈ [t0 , t1 ].

Ce qui termine la démonstration. 

2.3. PROBLÈMES AVEC CONDITIONS PARTICULIÈRES 43

Remarque 2.2.2 1) Pour un problème de maximisation la condition de Legendre est

Fẋ2 (t, x∗ (t), ẋ∗ (t)) ≤ 0 ∀t ∈ [t0 , t1 ].

2) La condition Fẋ2 (t, x∗ (t), ẋ∗ (t)) > 0 ∀t ∈ [t0 , t1 ] n’est pas une condition suffisante d’opti-
malité.

2.3 Problèmes avec conditions particulières

On commence cette section par le problème avec ligne terminale verticale qui est un peu plus
simple à traiter.

2.3.1 Problème avec ligne terminale verticale

On s’intéresse ici au problème
R t1
min
 f (x) = t0
F (t, x(t), ẋ(t))dt
 x(t0 ) = x0 .
avec t0 , t1 , x0 donnés

la valeur x(t1 ) = x1 étant libre
On se propose de déterminer les conditions nécessaires d’optimalité de ce problème.
Soit x une solution optimale. Considérons x(t) + ah(t) une famille de courbes admissibles où
x(t) et h(t) sont fixés. On a alors h(t0 ) = 0.
Soit Z t 1

g(a) = F (t, x(t) + ah(t), ẋ(t) + ah′ (t))dt.

t0

Comme x est optimale, on doit avoir g ′ (0) = 0. On a :

Z t1
′
g (a) = [Fx (t, x(t) + ah(t), ẋ(t) + ah′ (t))h(t) + Fẋ (t, x(t) + ah(t), ẋ(t) + ah′ (t))h′ (t)]dt.
t0

Donc Z t1
′
g (0) = 0 ⇔ [Fx (t, x(t), ẋ(t))h(t) + Fẋ (t, x(t), ẋ(t))h′ (t)]dt = 0.
t0

Comme
R t1 Rt

Fẋ (t, x(t), ẋ(t))h′ (t)dt = [Fẋ (t, x(t), ẋ(t))h(t)]tt10 − t01 dFẋ
(t, x(t), ẋ(t)) h(t)dt
t0 Rt dt
dFẋ


= Fẋ (t1 , x(t1 ), ẋ(t1 ))h(t1 ) − t01 dt
(t, x(t), ẋ(t)) h(t)dt

car h(t0 ) = 0, on obtient alors :

Z t1  
dFẋ
Fx (t, x(t), ẋ(t)) − (t, x(t), ẋ(t)) h(t)dt + Fẋ (t1 , x(t1 ), ẋ(t1 ))h(t1 ) = 0. (2.4)
t0 dt
La condition (2.4) doit être vérifiée pour toute fonction admissible donc aussi pour les fonctions
terminant au même point que la fonction optimale x. C’est-à-dire pour toutes les courbes vérifiant
aussi h(t1 ) = 0. Donc on a l’équation d’Euler
dFẋ
Fx (t, x(t), ẋ(t)) = (t, x(t), ẋ(t)) ∀t ∈ [t0 , t1 ].
dt
44 CHAPITRE 2. CALCUL DES VARIATIONS

On déduit alors que

Fẋ (t1 , x(t1 ), ẋ(t1 ))h(t1 ) = 0
et cela pour toute fonction admissible h. On a par suite :

Fẋ (t, x(t1 ), ẋ(t1 )) = 0.

On peut alors résumer :

Proposition 2.3.1 Une condition nécessaire d’optimalité pour le problème

R t1
min
( f (x) = t0
F (t, x(t), ẋ(t))dt
x(t0 ) = x0
x(t1 ) = x1 avec (x0 , t0 , t1 ) donnés et x1 libre

est (
Fx (t, x(t), ẋ(t)) = dF dt
ẋ
(t, x(t), ẋ(t)) ∀t ∈ [t0 , t1 ]
Fẋ (t1 , x(t1 ), ẋ(t1 )) = 0 (Condition de transversalité)

Exemple 2.3.1

Considérons le problème avec ligne terminale verticale suivant :

R t1 p
min
 t0
1 + ẋ(t)2 dt
x(t0 ) = x0 .
x(t1 ) = x1 avec t0 , x0 , t1 donnés.

On sait que l’équation d’Euler donne :

x(t) = c1 t + c2 .

La condition de transversalité donne Fẋ (t1 ) = √ ẋ(t1 ) = 0 c’est-à-dire ẋ(t1 ) = 0 soit alors
1+ẋ(t1 )2
c1 = 0.
Donc x(t) = c2 . Et comme x(t0 ) = x0 , on obtient x(t) = x0 pour tout t vérifiant t0 ≤ t ≤ t1 .

2.3.2 Problème avec horizon libre

Considérons le problème
 R t1
min f (x) = t0
F (t, x(t), ẋ(t))dt
x(t0 ) = x0

où (t0 , x0 ) est donné mais ni t1 ni x1 = x(t1 ) ne sont donnés.

On s’intéresse aux conditions nécessaires d’optimalité de ce problème.
Soit t1 et x∗ (t), t0 ≤ t ≤ t1 une solution optimale.
Considérons une fonction de comparaison x(t), t0 ≤ t ≤ t1 + δt1 (les domaines des deux
fonctions peuvent être légèrement différents) avec |δt1 | petit.
Les fonctions x∗ et x sont de classe C 1 et vérifient la condition initiale.
On va étendre les fonctions x∗ et x sur [t1 , t1 + δt1 ] de façon à avoir des fonctions ayant le
même domaine. Pour cela,
2.3. PROBLÈMES AVEC CONDITIONS PARTICULIÈRES 45

- si δt1 > 0 on étend x∗ de la façon suivante :

x∗ (t) = x∗ (t1 ) + ẋ∗ (t1 )(t − t1 ) pour t1 ≤ t ≤ t1 + δt1 ,
- si δt1 < 0 on étend x de la façon suivante :
x(t) = x(t1 + δt1 ) + ẋ(t1 + δt1 )(t − t1 − δt1 ) pour t1 + δt1 ≤ t ≤ t1 .
On a fait dans ce cas que des extrapolations linéaires.
On définit la fonction h comme la différence des fonctions étendues sur leur domaine commun.
Donc x(t) = x∗ (t) + h(t) pour t vérifiant t0 ≤ t ≤ max{t1 , t1 + δt1 }.
On a
x∗ (t0 ) = x(t0 ) = x0 ⇒ h(t0 ) = 0.
On dira que les deux fonctions x∗ et x sont proches si kx − x∗ k est assez petit, où
kx − x∗ k = max |h(t)| + max |h′ (t)| + |δt1 | + |x(t1 + δt1 ) − x∗ (t1 )| : t ∈ [t0 , max{t1 , t1 + δt1 }].
t t

Les deux derniers termes représentent les différences des coordonnées des points terminaux des
courbes x∗ (t) et x(t) non étendues. Donc les deux courbes sont proches si en chaque point du
domaine étendu, leurs valeurs sont proches, leurs pentes sont égales et leurs points terminaux sont
proches.
On définit pour δt1 assez petit,
Z t1 +aδt1
g(a) = F (t, x∗ (t) + ah(t), ẋ∗ (t) + ah′ (t))dt.
t0

La courbe x∗ étant optimale, g atteint un minimum local en 0. On a donc g ′ (0) = 0. C’est-à-

dire :
Z t1
∗ ∗
F (t1 , x (t1 ), ẋ (t1 ))δt1 + (Fx (t, x∗ (t), ẋ∗ (t))h(t) + Fẋ (t, x∗ (t), ẋ∗ (t))h′ (t))dt = 0. (2.5)
t0

En intégrant par parties et tenant compte de h(t0 ) = 0, (2.5) s’écrit :

F (t1 , x∗ (t1 ), ẋ∗ (t1 ))δt1 + Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))h(t1 )
Rt
(2.6)
+ t01 Fx (t, x∗ (t), ẋ∗ (t)) − dF dt
ẋ
(t, x∗
(t), ẋ∗
(t)) h(t)dt = 0.

Posons δx1 = x(t1 + δt1 ) − x∗ (t1 ). Comme x∗ et x = x∗ + h sont proches, on a

δx1 ≃ x(t1 ) + ẋ(t1 )δt1 − x∗ (t1 ) ≃ x(t1 ) + ẋ∗ (t1 )δt1 − x∗ (t1 )
= x(t1 ) − x∗ (t1 ) + ẋ∗ (t1 )δt1
= h(t1 ) + ẋ∗ (t1 )δt1 .

⇒ h(t1 ) ≃ δx1 − ẋ∗ (t1 )δt1

En remplaçant h(t1 ) par sa valeur dans (2.6) on obtient :
R t1
(Fx (t, x∗ (t), ẋ∗ (t)) − dF ẋ
(t, x∗ (t), ẋ∗ (t)))h(t)dt + Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))δx1
t0 dt (2.7)
+[F (t1 , x∗ (t1 ), ẋ∗ (t1 )) − ẋ∗ (t1 )Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))]δt1 = 0.
Puisque la courbe de comparaison x peut se terminer au même point que x∗ avec δt1 = 0 et
δx1 = 0, il vient que
Z t1
dFẋ
(Fx (t, x∗ (t), ẋ∗ (t)) − (t, x∗ (t), ẋ∗ (t))h(t)dt = 0
t0 dt
46 CHAPITRE 2. CALCUL DES VARIATIONS

et cela pour toute fonction réalisable vérifiant h(t0 ) = h(t1 ) = 0. On obtient alors : Fx (t, x∗ (t), ẋ∗ (t))−
dFẋ
dt
(t, x∗ (t), ẋ∗ (t)) = 0 : c’est l’équation d’Euler. Par suite (2.7) devient

Fẋ (t1 , x∗ (t1 ), ẋ(t1 ))δx1 + [F (t1 , x∗ (t1 ), ẋ∗ (t1 )) − ẋ∗ (t1 )Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))]δt1 = 0 (2.8)

cela pour tout δx1 et δt1 . On obtient alors


F (t1 , x∗ (t1 ), ẋ∗ (t1 )) = 0
Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 )) = 0
On peut énoncer alors :

Proposition 2.3.2 Une condition nécessaire d’optimalité pour le problème

R t1
min
( t0 F (t, x(t), ẋ(t))dt
x(t0 ) = x0 (t0 , x0 ) donné
x ∈ C 1 ([t0 , t1 ], R)

est


 i) Equation d’Euler Fx (t, x(t), ẋ(t)) − dF dt
ẋ
(t, x(t), ẋ(t)) = 0, ∀t ∈ [t0 , t1 ]

 ii) Condition de transversalité
( ( .

 F (t 1 , x(t1 ), ẋ(t1 )) − ẋ(t1 )F (t
ẋ 1 , x(t1 ), ẋ(t 1 )) = 0, F (t1 , x(t1 ), ẋ(t1 )) = 0,

 ⇐⇒
Fẋ (t1 , x(t1 ), ẋ(t1 )) = 0 Fẋ (t1 , x(t1 ), ẋ(t1 )) = 0.

Remarque 2.3.1 A partir de l’équation (2.8), on trouve la condition de transversalité du problème

avec ligne terminale horizontale c’est-à-dire avec x1 fixé et t1 libre. Cette condition est :

F (t1 , x(t1 ), ẋ(t1 )) − ẋ(t1 )Fẋ (t1 , x(t1 ), ẋ(t1 )) = 0.

2.3.3 Problème avec contrainte d’égalité au point terminal

On considère le problème  R t1
 min t0 F (t, x(t), ẋ(t)dt
x(t0 ) = x0

R(t1 ) = x1 .
où R est une fonction différentiable.
On reprend les calculs de la sous section précédente jusqu’à l’équation (2.7). C’est-à-dire :
R t1
(Fx (t, x∗ (t), ẋ∗ (t)) − dF ẋ
(t, x∗ (t), ẋ∗ (t)))h(t)dt + Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))δx1
t0 dt (2.9)
+[F (t1 , x∗ (t1 ), ẋ∗ (t1 )) − ẋ∗ (t1 )Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))]δt1 = 0.
De même que dans la sous section précédente, puisque la courbe de comparaison x peut se
terminer au même point que x∗ avec donc δt1 = 0 et δx1 = 0 on obtient :
Z t1  
∗ ∗ dFẋ ∗ ∗
Fx (t, x (t), ẋ (t)) − (t, x (t), ẋ (t)) h(t)dt = 0 (2.10)
t0 dt
et cela pour toute fonction admissible h vérifiant h(t0 ) = h(t1 ) = 0. Il vient alors que
dFẋ
Fx (t, x∗ (t), ẋ∗ (t)) − (t, x∗ (t), ẋ∗ (t)) = 0 pour tout t ∈ [t0 , t1 ].
dt
2.3. PROBLÈMES AVEC CONDITIONS PARTICULIÈRES 47

C’est l’équation d’Euler. Il reste alors de l’équation (2.10),

Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))δx1 + [F (t1 , x∗ (t1 ), ẋ∗ (t1 )) − ẋ∗ (t1 )Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))]δt1 = 0.

Or on a
δx1
R′ (t1 ) = ⇔ δx1 = R′ (t1 )δt1 .
δt1
l’équation ci-dessus s’écrit alors

[R′ (t1 )Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 )) + F (t1 , x(t1 ), ẋ∗ (t1 )) − ẋ∗ (t1 )Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))]δt1 = 0.

C’est-à-dire

[F (t1 , x∗ (t1 ), ẋ∗ (t1 )) + (R′ (t1 ) − ẋ∗ (t1 ))Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 ))]δt1 = 0 (2.11)

avec δt1 quelconque. On obtient alors

F (t1 , x∗ (t1 ), ẋ∗ (t1 )) + (R′ (t1 ) − ẋ∗ (t1 ))Fẋ (t1 , x∗ (t1 ), ẋ∗ (t1 )) = 0. (2.12)

C’est la condition de transversalité. On peut alors énoncer que

Proposition 2.3.3 Une condition nécessaire d’optimalité pour le problème

R t1 ∗
( t0 F (t, x(t), x (t))dt
min
x(t0 ) = x0
R(t1 ) = x1 avec R différentielle

est 

 i) Equation d’Euler

 F (t, x(t), ẋ(t)) − dFẋ (t, x(t), ẋ(t)) = 0 pour tout t ∈ [t , t ]
x dt 0 1

 ii) Condition de transversalité


F (t1 , x(t1 ), ẋ(t1 )) + (R′ (t1 ) − ẋ(t1 ))Fẋ (t1 , x(t1 ), ẋ(t1 )) = 0.

Remarque 2.3.2 Si la courbe terminale est sous la forme implicite Q(t1 , x1 ) = 0 où Q est une
fonction en (t, x) différentiable, alors on a :
Qt
Qt δt1 + Qx δx1 = 0 ⇔ δx1 = − δt1
Qx
et la condition de transversalité (2.12) devient
 
Qt (t1 , x(t1 ))
F (t1 , x(t1 ), ẋ(t1 )) − ẋ(t1 ) + Fẋ (t1 , x(t1 ), ẋ(t1 )) = 0. (2.13)
Qx (t1 , x(t1 ))

2.3.4 Problème avec point terminal contrainte en inégalité

Considérons les R t1problèmes R t1
min
 f (x) = t0 F (t, x(t), ẋ(t))dt min
 f (x) = t0
F (t, x(t), ẋ(t))dt

 x(t0 ) = x0 
 x(t0 ) = x0
 
x(t1 ) = x1 x(t1 ) = x1

 x1 ≥ a 
 t1 ≤ T
 
t0 , t1 , x0 , a donnés t0 , x0 , x1 , T donnés
48 CHAPITRE 2. CALCUL DES VARIATIONS

On s’intéresse dans cette section à leurs conditions d’optimalité.

Soit x∗ (t), t0 ≤ t ≤ t1 une fonction optimale.
On note F ∗ (t) = F (t, x∗ (t), ẋ∗ (t)) et f ∗ la valeur optimale du problème. Soit x(t), t0 ≤ t ≤
t1 + δt1 une fonction de comparaison suffisamment proche de x∗ .
En étendant x ou x∗ , on peut supposer qu’elles ont les mêmes domaines.Soit f = f (x). On a
alors
R t +δt Rt
f − f ∗ = t01 1 F (t, x(t), ẋ(t))dt − t01 F (t, x∗ (t), ẋ∗ (t))dt
R t +δt Rt (2.14)
= t11 1 F (t, x(t), ẋ(t))dt + t01 [F (t, x(t), ẋ(t)) − F (t, x∗ (t), ẋ∗ (t))]dt

Comme f ∗ est la valeur optimale , on doit avoirf − f ∗ ≥ 0.

Si δt1 est suffisamment petit et x proche de x∗ , on a
Z t1 +δt1 Z t1 +δt1
F (t, x(t), ẋ(t))dt ≃ F (t1 , x∗ (t1 ), ẋ∗ (t1 ))dt ≃ F ∗ (t1 )δt1 .
t1 t1

En plus
R t1
f − f ∗ = F ∗ (t1 )δt1 + [(x(t) − x∗ (t))Fx∗ (t) + (ẋ(t) − ẋ∗ (t))Fẋ∗ (t)]dt
t0 (2.15)
+ termes de degrés supérieurs

avec Fx∗ (t) = Fx (t, x∗ (t), ẋ(t)), Fẋ∗ (t) = Fẋ (t, x∗ (t), ẋ∗ (t)).
Posons h(t) = x(t) − x∗ (t) on a alors
Z t1
∗ ∗
f − f = F (t1 )δt1 + (Fx∗ (t)h(t) + Fẋ∗ (t)h′ (t))dt + . . . (2.16)
t0

Posons Z t1
∗
δJ = F (t1 )δt1 + (Fx∗ (t)h(t) + Fẋ∗ (t)h′ (t))dt (2.17)
t0

On a Z t1
∗ dFẋ∗
δJ = F (t1 )δt1 + Fẋ∗ (t1 )h(t1 ) + (Fẋ∗ (t) − (t))h(t)dt
t0 dt
car h(t0 ) = 0.
Comme h(t1 ) = δx1 − ẋ∗ (t1 )δt1 , alors
Z t1
∗ ∗ dFẋ∗ (t)
δJ = (F (t1 ) − ẋ (t1 )Fẋ∗ (t1 ))δt1 + Fẋ∗ (t1 )δx1 + (Fx∗ (t) − )h(t)dt (2.18)
t0 dt

Comme f − f ∗ ≥ 0, on a nécessairement δJ ≥ 0.
En choisissant les courbes de comparaison tel que δt1 = δx1 = 0, on obtient :
Z t1
dF ∗ (t)
(Fx∗ (t) − ẋ )h(t)dt ≥ 0
t0 dt

pour tout h telle que h(t0 ) = h(t1 ) = 0.

Ce qui implique que Z t1
dFẋ∗ (t)
(Fx∗ (t) − )h(t)dt = 0
t0 dt
pour tout h telle que h(t0 ) = h(t1 ) = 0. On obtient alors la condition
2.3. PROBLÈMES AVEC CONDITIONS PARTICULIÈRES 49

dFẋ∗(t)
Fx∗ (t) = , ∀t ∈ [t0 , t1 ].
dt
C’est l’équation d’Euler.
On s’intéresse à présent à la contrainte t1 ≤ T .
On peut alors prendre δx1 = 0. Il vient alors
δJ = (F ∗ (t1 ) − ẋ∗ (t1 )Fẋ∗ (t1 ))δt1 ≥ 0. (2.19)
i) Si on a t1 < T : La courbe de comparaison peut se terminer soit avant t1 soit après t1 donc
δt1 est quelconque.
F ∗ (t1 ) − ẋ∗ (t1 )Fẋ∗ (t1 ) = 0. (2.20)
ii) Si t1 = T alors la courbe de comparaison doit terminer avant t1 et donc δt1 ≤ 0. Ce qui
implique que
F ∗ (t1 ) − ẋ∗ (t1 )Fẋ∗ (t1 ) ≤ 0. (2.21)
On peut combiner (2.20) et (2.21) ce qui donne
F ∗ (t1 ) − ẋ∗ (t1 )Fẋ∗ (t1 ) ≤ 0, (T − t1 )[F (t1 ) − ẋ∗ (t1 )Fẋ∗ (t1 )] = 0. (2.22)
De façon analogue si on s’intéresse à la contrainte x1 ≥ a, on aboutit aux résultats :
Fẋ∗ (t1 ) ≥ 0, (x1 − a)Fẋ∗ (t1 ) = 0. (2.23)
On a alors les propositions suivantes.

Proposition 2.3.4 Une condition nécessaire d’optimalité du problème

Rt
min f (x) = t01 F (t, x(t), ẋ(t))dt


 x(t0 ) = x0

 x(t ) = x
1 1

 t1 ≤ T


t0 , x0 , x1 , T donnés
est 

 i) Equation d’Euler

 F (t) − dFẋ (t) = 0, ∀t ∈ [t , t ].
x dt 0 1

 ii) Condition de transversalité


F (t1 ) − ẋ(t1 )Fẋ (t1 ) ≤ 0, (T − t1 )[F (t1 ) − ẋ(t1 )Fẋ (t1 )] = 0.
Proposition 2.3.5 Une condition nécessaire d’optimalité du problème
Rt
min f (x) = t01 F (t, x(t), ẋ(t))dt


 x(t0 ) = x0

 x(t ) = x
1 1

 x1 ≥ a


t0 , t1 , x0 , a donnés
est 

 i) Equation d’Euler

 F (t) − dFẋ (t) = 0, ∀t ∈ [t , t ].
x dt 0 1

 ii) Condition de transversalité


Fẋ (t1 ) ≥ 0, (x1 − a)Fẋ (t1 ) = 0.
50 CHAPITRE 2. CALCUL DES VARIATIONS

2.4 Problème avec critère contenant un coût terminal

On considère le problème avec critère contenant un coût terminal et à horizon libre.
 R t1
 min t0 F (t, x(t), ẋ(t))dt + G(t1 , x1 )
x(t0 ) = x0 (t0 , x0 ) donné ,

x(t1 ) = x1 .

On s’intéresse aux conditions nécessaire d’optimalité de ce problème. dans lequel on n’a pas
de condition sur t1 ni sur x(t1 ) = x1 .
Soit x∗ (t), t0 ≤ t ≤ t1 une solution optimale et x(t), t0 ≤ t ≤ t1 + δt1 une solution réalisable
de comparaison. On peut étendre soit x∗ soit x de sorte qu’elles aient les mêmes domaines. On
considère
h(t) = x(t) − x∗ (t), t0 ≤ t ≤ max{t, t1 + δt1 }.
En évaluant f (x∗ + ah) sur l’intervalle [t0 , t1 + aδt1 ] on a
Z t1 +aδt1
∗
g(a) = f (x + ah) = F (t, x∗ (t) + ah(t), x∗ + ah′ (t))dt + G(t1 + aδt1 , x1 + aδx1 ).
t0

Comme x∗ est optimale on a nécessairement g ′(0) = 0 soit :

R t1
t0
(Fx (t, x∗ (t), ẋ∗ (t))h(t) + Fẋ (t, x∗ (t), ẋ∗ (t))h′ (t))dt + Fẋ (t1 , x∗ (t1 ), x˙∗ (t1 ))h(t1 )
+F (t1 , x∗ (t1 ), x˙∗ (t1 ))δt1 + Gt (t1 , x1 )δt1 + Gx (t1 , x1 )δx1 = 0
(2.24)
En intégrant par parties et tenant compte de h(t0 ) = 0 on obtient
R t1
(Fx (t, x∗ (t), ẋ∗ (t)) − dF ẋ
(t, x∗ (t), ẋ∗ (t)))h(t)dt + Fẋ (t1 , x∗ (t1 ), x˙∗ (t1 ))h(t1 )
t0 dt (2.25)
+F (t1 , x∗ (t1 ), x˙∗ (t1 ))δt1 + Gt (t1 , x1 )δt1 + Gx (t1 , x1 )δx1 = 0.

Cette équation reste valable pour les courbes de comparaison terminant en (t1 , x1 ) et donc
δt1 = δx1 = h(t1 ) = 0. Ce qui implique que
dFẋ
Fx (t, x∗ (t), ẋ∗ (t)) − (t, x∗ (t), x˙∗ (t)) = 0 tout le long de x∗ (t), t0 ≤ t ≤ t1 .
dt
On a approximativement
h(t1 ) ≃ δx1 − x∗ (t1 )δt1
En tenant compte de ces équations dans (2.25) on tire

(F (t1 , x∗ (t1 ), x˙∗ (t1 )) − x˙∗ Fẋ (t1 , x∗ (t1 ), x˙∗ (t1 )) + Gt (t1 , x1 ))δt1
(2.26)
+(Fẋ (t1 , x∗ (t1 ), x˙∗ (t1 )) + Gx (t1 , x1 ))δx1 = 0.

C’est le résultat fondamental pour déterminer les conditions de transversalité par le problème
considéré ici. On peut à présent tirer les résultats suivants :
i) si t1 est libre dans ce cas δt1 peut avoir n’importe quel signe dans (2.26) donc son coefficient
doit être nul. C’est-à-dire :

F (t1 , x∗ (t1 ), x˙∗ (t1 )) − x˙∗ (t1 )Fẋ (t1 , x∗ (t1 ), x˙∗ (t1 )) + Gt (t1 , x1 ) = 0 (2.27)

ii) si x1 est libre alors dans ce cas on a δx1 quelconque. Par suite on a :

Fẋ (t1 , x∗ (t1 ), x˙∗ (t1 )) + Gx (t1 , x1 ) = 0 (2.28)

2.4. PROBLÈME AVEC CRITÈRE CONTENANT UN COÛT TERMINAL 51

iii) si on a la relation R(t1 ) = x1 alors

δx1
R′ (t1 ) = ⇔ δx1 = R′ (t1 )δt1
δt1
et en remplaçant δx1 par sa valeur dans (2.26) on obtient

F (t1 , x∗ (t1 ), x˙∗ (t1 )) + (R′ (t1 ) − x˙∗ (t1 ))Fẋ (t1 , x∗ (t1 ), x˙∗ (t1 ))
(2.29)
+R′ (t1 )Gx (t1 , x1 ) + Gt (t1 , x1 ) = 0.

On peut dire que

Proposition 2.4.1 Une condition nécessaire d’optimalité pour le problème

 R t1

 min t0 F (t, x(t), ẋ(t))dt + G(t1 , x1 )
x(t0 ) = x0 (t0 , x0 ) donné ,

 x(t ) = x .
1 1

est 
:

 1) Equation d’Euler
Fx (t, x(t), ẋ(t)) − dF ẋ
(t, x(t), ẋ(t)) = 0 ∀t ∈ [t0 , t1 ]
 dt
 2) Condition de transversalité
La condition de transversalité étant :
- si t1 est libre,

F (t1 , x(t1 ), ẋ(t1 )) − ẋ(t1 )Fẋ (t1 , x(t1 ), ẋ(t1 )) + Gt (t1 , x1 ) = 0

- si x1 est libre,
Fẋ (t1 , x(t1 ), ẋ(t1 )) + Gx (t1 , x1 ) = 0
- si on a la relation R(t1 ) = x1 ,

F (t1 , x(t1 ), ẋ(t1 )) + (R′ (t1 ) − ẋ(t1 ))Fẋ (t1 , x(t1 ), ẋ(t1 ))
+R′ (t1 )Gx (t1 , x1 ) + Gt (t1 , x1 ) = 0.
52 CHAPITRE 2. CALCUL DES VARIATIONS
Chapitre 3

Contrôle optimal en temps continu :

Principe du maximum

3.1 Exemple introductif

Considérons une ressource non renouvelable dont la quantité disponible est S(t) avec S(0) = 0.
Au fur et à mesure de son extraction (et de son utilisation), la reserve de ressource disponible
baisse suivant l’équation :
d
S(t) = −E(t)
dt
où E(t) désigne le taux d’extraction de la ressource.
La société souhaite maximiser l’utilité totale découlant de l’utilisation de la ressource sur une
période [0, T ].
Si la ressource finale n’est pas imposée, le problème d’optimisation dynamique à résoudre peut
se mettre sous la forme  RT

 max 0 u(E(t))e−ρt dt


 dS(t)
dt
= −E(t)
S(0) = S0 ,



 S(T ) ≥ 0, S0 , T donnés,

E(t) ≥ 0.
Ce problème d’optimisation dynamique est un problème de contrôle optimale en temps continu.
De façon générale, la théorie du contrôle optimale s’intéresse au problème suivant :
• On dispose d’un système (une fusée, un four, une usine, . . . ) dont l’évolution dans le temps
est gouverné par des lois (lois de la mécanique, de la thermodinamique, de l’économie, . . . ) qui
lient ses variables d’état décrites par un vecteur x et des variables de commandes ou de décision
décrites par un vecteur u.
• A l’aide des commandes u, on désire faire en sorte que le système suive une trajectoire
déterminé, ou atteigne un état fixe de consigne x b ou maximise le long de sa trajectoire un critère
(énergétique, économique) donné à l’avance.
Le modèle mathématique associé à un problème de contrôle optimal en temps continu sous
forme la plus simple se présente comme suit :
a) On se donne :
• un intervalle de temps I = [t0 , t1 ]
• une fonction réelle
F : I × Rn × Rm → R
(t, x, u) 7→ F (t, x, u)

53
54CHAPITRE 3. CONTRÔLE OPTIMAL EN TEMPS CONTINU : PRINCIPE DU MAXIMUM

de classe C 1 ,
• une fonction f : I × Rn × Rm → Rn de classe C 1 ,
• une fonction réelle A : Rn → R de classe C 1 ,
b) On cherche (x, u) dans C 1 (I, Rn ) × C 0 (I, Rm ) solution de
R t1
min
 J(x, u) = t0 F (t, x(t), u(t))dt + A(x(t1 ))
 ẋ(t) = f (t, x(t), u(t)) ∀t ∈ [t0 , t1 ] .
x(t0 ) = x0

u(t) ∈ U ⊂ Rm ∀t ∈ [t0 , t1 ]
Dans ce problème :
- x est dite variable d’état
- u variable de contrôle.
- l’équation ẋ = f (t, x(t), u(t)) est dite équation-d’état (d’évolution)
- la fonction J est le critère
- l’ensemble U = C 0 (I, U) avec U ⊂ Rm est l’ensemble des correspondances des contrôles
admissibles.
Etant donné ce problème, on définit :

Définition 3.1.1 On appelle fonction de Pontryaguine associée, la fonction

H : [t0 , t1 ] × Rn × Rm × Rn → R
P .
(t, x, u, λ) 7→ F (t, x(t), u(t)) + ni λi fi (t, x(t), u(t))

La variable λ considérée dans cette fonction est appelée variable de co-état.

La fonction de Pontryaguine est souvent appelée hamiltonien

Nous nous intéressons aux conditions d’optimalité de ce problème dont nous considérons le cas
simple.

3.2 Problème simple de contrôle optimal

On considère ici le problème simple de contrôle optimale :
R t1
J(x,
 u) = max t0
F (t, x(t), u(t))dt

 ẋ(t) = f (t, x(t), u(t))
 (P SCT )
x(t0 ) = x0 ,

 avec t0 , t1 , x0 donnés et x(t1 ) libre

x ∈ C 1 ([t0 , t1 ], R), u ∈ Cpm 0
([t0 , t1 ], R).
0
où Cpm ([t0 , t1 ], R) désigne l’ensemble des fonctions continues par morceaux sur [t0 , t1 ] et à valeurs
dans R.
Le problème d’existence de solution optimale est souvent assez délicat à résoudre. On s’intéresse
donc principalement aux conditions d’optimalité.

3.2.1 Conditions nécessaires d’optimalité : principe du maximum

Les conditions d’optimalité que nous donnons ici sont connues sous le nom de principe du
maximum de Pontryaguine.
3.2. PROBLÈME SIMPLE DE CONTRÔLE OPTIMAL 55

Théorème 3.2.1 (Principe du maximum de Pontryaguine) Si (x, u) est solution optimale

du problème (P SCT ), alors il existe λ de classe C 1 sur [t0 , t1 ] tel que (x, u, λ) est solution du
système :


 1) Principe du maximum i.e. u est solution optimale du problème



 maxv H(t, x, v, λ),



 2) Equation d’évolution


 ẋ = ∂H (t, x, u, λ)
∂λ

 3) Equation de co-état



 λ̇ = − ∂H (t, x, u, λ)

 ∂x

 4) Condition initiale



x(t0 ) = x0 ,

où H(t, x, u, λ) = F (t, x, u) + λf (t, x, u) est le hamiltonien associé.

Preuve :
Soit (x∗ (t), u∗ (t)) t0 ≤ t ≤ t1 une solution optimale du problème.
Pour toutes solutions (x, u) réalisables et toute fonction de classe C 1 λ définies sur [t0 , t1 ] on
a: Z Z
t1 t1
F (t, x(t), u(t))dt = [F (t, x(t), u(t)) + λ(t)f (t, x(t), u(t)) − λ(t)ẋ(t)]dt. (3.1)
t0 t0

En intégrant par parties le dernier terme de (3.1) on a :

Z t1 Z t1
− λ(t)ẋ(t)dt = −λ(t1 )x(t1 ) + λ(t0 )x(t0 ) + x(t)λ̇(t)dt. (3.2)
t0 t0

Donc (3.1) devient :

R t1 R t1
F (t, x(t), u(t)dt = [F (t, x(t), u(t) + λ(t)f (t, x(t), u(t) + x(t)λ̇(t)]dt
t0 t0 (3.3)
−λ(t1 )x(t1 ) + λ(t0 )x(t0 )

Considérons une famille de contrôles de comparaison u∗ (t) + ah(t) où h est une fonction fixée
et a ∈ R un paramètre.
Soit y(t, a) la variable d’état générée sous le contrôle u∗ (t) + ah(t) pour t0 ≤ t ≤ t1 .
On suppose que y(t, a) est régulière par rapport à (t, a). Il est clair que

y(t, 0) = x∗ (t) et y(t0 , a) = x0 y(t1 , a) = x1 (3.4)

Avec les fonctions x∗ , u∗ et h toutes fixées, la valeur de (3.1) évalué le long de y(t, a) et
∗
u (t) + ah(t) dépend de la variable a. Soit J(a) cette valeur. On a :
Z t1
J(a) = F (t, y(t, a), u∗(t) + ah(t))dt.
t0

En utilisant (3.3) on a :
R t1
J(a) = [F (t, y(t, a), u∗(t) + ah(t)) + λ(t)f (t, y(t, a), u∗(t) + ah(t)) + y(t, a)λ̇(t)]dt
t0 (3.5)
−λ(t1 )y(t1, a) + λ(t0 )y(t0 , a)
56CHAPITRE 3. CONTRÔLE OPTIMAL EN TEMPS CONTINU : PRINCIPE DU MAXIMUM

Comme u∗ est optimale on a J ′ (0) = 0. Soit alors :

R t1
[(Fx (t, x∗ (t), u∗ (t)) + λ(t)fx (t, x∗ (t), u∗ (t)) + λ̇(t))ya (t, 0) + (Fu (t, x∗ (t), u∗ (t))
t0 (3.6)
+λ(t)fu (t, x∗ (t), u∗(t)))h(t)]dt = 0.

En considérant λ vérifiant

λ̇(t) = −[Fx (t, x∗ (t), u∗ (t)) + λ(t)fx (t, x∗ (t), u∗ (t))] (3.7)

L’équation (3.6) dévient

Z t1
[Fu (t, x∗ (t), u∗ (t)) + λ(t)fu (t, x∗ (t), u∗(t))]h(t)dt = 0, (3.8)
t0

et cela pour toute fonction h.

Donc en particulier pour

h(t) = Fu (t, x∗ (t), u∗ (t)) + λ(t)fu (t, x∗ (t), u∗ (t))

de sorte que
Z t1
[Fu (t, x∗ (t), u∗(t)) + λ(t)fu (t, x∗ (t), u∗ (t))]2 dt = 0. (3.9)
t0

Ce qui implique que

Fu (t, x∗ (t), u∗ (t)) + λ(t)fu (t, x∗ (t), u∗ (t)) = 0, t0 ≤ t ≤ t1 . (3.10)

En conclusion, si (x∗ , u∗ ) est solution du problème alors il existe λ de classe C 1 tel que x∗ , u∗ ,
λ vérifient simultanément les équations :
- l’équation d’état : ẋ(t) = f (t, x(t), u(t)),
- l’équation du multiplicateur : λ̇(t) = −[fx (t, x(t), u(t)) + λ(t)fx (t, x(t), u(t))]
- la condition d’optimalité : Fu (t, x(t), u(t)) + λ(t)fu (t, x(t), u(t)) = 0
qui n’est rien d’autre que celle du problème :

max F (t, x(t), u(t)) + λ(t)f (t, x(t), u(t)) = H(t, x(t), u(t), λ(t)).
u

- et les conditions initiales : x(t0 ) = x0 , x(t1 ) = x1 .

Ce qui termine la démonstration. 

Exemple 3.2.1

Soit le problème ci-dessous :

 R1
 max 02 (x(t) + u(t))dt
ẋ(t) = 1 − u2

x(0) = 1.
3.3. PROBLÈME AVEC CONDITIONS PARTICULIÈRES AUX BORDS 57

3.3 Problème avec conditions particulières aux bords

Dans cette section on s’intéresse aux conditions d’optimalité du problème de contrôle optimal
avec des conditions particulières aux bords. On considère le premier problème :
R t1
J(x,
 u) = max t0
F (t, x(t), u(t))dt

 ẋ(t) = f (t, x(t), u(t))


 x(t0 ) = x0 , (P CT H)
x(t1 ) = x1 ,



 avec t0 , x0 donnés

x ∈ C 1 ([t0 , t1 ], R), u ∈ C 0 ([t0 , t1 ], R).
On montre que :

Théorème 3.3.1 Si (x, u) est solution optimale du problème (P CT H), alors il existe λ de classe
C 1 sur [t0 , t1 ] tel que (x, u, λ) est solution du système :

1) Principe du maximum i.e. u est solution optimale du problème

maxv H(t, x(t), v, λ(t)),
2) Equation d’évolution :
ẋ(t) = ∂H
∂λ
(t, x(t), u(t), λ(t)) = f (t, x(t), u(t))
3) Equation de co-état :
λ̇(t) = − ∂H
∂x
(t, x(t), u(t), λ(t))
4) Condition de transversalité :
a) Problème avec ligne terminale verticale : x(t1 ) = x1 , avec t1 donné et x1 libre
λ(t1 ) = 0, x(t0 ) = x0 ,
b) Problème avec ligne terminale horizontale : x(t1 ) = x1 , avec x1 donné et t1 libre
H(t1 , x(t1 ), u(t1 ), λ(t1 )) = 0, x(t0 ) = x0 , x(t1 ) = x1
c) Problème à courbe terminale : φ(t1 ) = x(t1 ) = x1 avec φ de classe C 1 et x1 donnés
H(t1 , x(t1 ), u(t1 ), λ(t1 )) − λ(t1 )φ′ (t1 ) = 0, x(t0 ) = x0 , φ(t1 ) = x1 .

où H(t, x(t), u(t), λ(t)) = F (t, x(t), u(t)) + λ(t)f (t, x(t), u(t)) est le hamiltonien associé.

Pour terminer, on s’intéresse aux conditions d’optimalité des problèmes avec contrainte d’inégalité
au point terminal. On considère les problèmes ci-dessous :
R t1 R t1
J(x,
 u) = max t0
F (t, x(t), u(t))dt J(x,
 u) = max t0
F (t, x(t), u(t))dt

 x(t0 ) = x0 
 x(t0 ) = x0

 

 x(t1 ) = x1  x(t1 ) = x1
x1 ≥ a t1 ≤ T

 

 t ,
 0 1 0t , x , a donnés  t0 , x0 , x1 , T donnés

 1 0 
x ∈ C ([t0 , t1 ], R), u ∈ C ([t0 , t1 ], R). x ∈ C 1 ([t0 , t1 ], R), u ∈ C 0 ([t0 , t1 ], R).
Le premier est à ligne terminale verticale tronquée et le second à ligne terminale horizontale
tronquée.
on a le théorème suivant :

Théorème 3.3.2 Si (x, u) est solution optimale de l’un des deux problèmes (P CE), alors il existe
58CHAPITRE 3. CONTRÔLE OPTIMAL EN TEMPS CONTINU : PRINCIPE DU MAXIMUM

λ de classe C 1 sur [t0 , t1 ] tel que (x, u, λ) est solution du système :

1) Principe du maximum i.e. u est solution optimale du problème

maxv H(t, x(t), v, λ(t)),
2) Equation d’évolution :
ẋ(t) = ∂H
∂λ
(t, x(t), u(t), λ(t)) = f (t, x(t), u(t))
3) Equation de co-état :
λ̇(t) = − ∂H
∂x
(t, x(t), u(t), λ(t))
4) Condition de transversalité :
a) Pour le problème avec ligne terminale verticale tronquée :
λ(t1 ) ≥ 0, λ(t1 )(x(t1 ) − a) = 0
b) Pour le problème avec ligne terminale horizontale tronquée :
H(t1 , x(t1 ), u(t1), λ(t1 )) ≥ 0, t1 ≤ T, (t1 − T )H(t1 , x(t1 ), u(t1 ), λ(t1 )) = 0.

où H(t, x(t), u(t), λ(t)) = F (t, x(t), u(t)) + λ(t)f (t, x(t), u(t)) est le hamiltonien associé.

3.4 Problème avec critère contenant un coût terminal

On considère à présent problème avec le critère contenant un coût terminal A(x(t1 )) où A est
définie sur [t0 , t1 ] et dérivable.

R t1
J(x,
 u) = max t0 F (t, x(t), u(t))dt + A(x(t1 ))

 ẋ(t) = f (t, x(t), u(t))


 x(t0 ) = x0 , (P CE)
x(t1 ) = x1 ,



 avec t0 , x0 donnés

x ∈ C 1 ([t0 , t1 ], R), u ∈ C 0 ([t0 , t1 ], R).

On montre que :

Théorème 3.4.1 Si (x, u) est solution optimale du problème ci-dessus, alors il existe λ de classe
3.5. INTERPRÉTATION ÉCONOMIQUE DES CONDITIONS NÉCESSAIRES D’OPTIMALITÉ59

C 1 sur [t0 , t1 ] tel que (x, u, λ) est solution du système :

1) Principe du maximum i.e. u est solution optimale du problème

maxv H(t, x(t), v, λ(t)),
2) Equation d’évolution :
ẋ(t) = ∂H
∂λ
(t, x(t), u(t), λ(t)) = f (t, x(t), u(t))
3) Equation de co-état :
λ̇(t) = − ∂H
∂x
(t, x(t), u(t), λ(t))
4) Condition de transversalité :
a) Problème avec ligne terminale verticale : t0 , t1 , x0 donnés et x1 libre
x(t0 ) = x0 , x(t1 ) = x1 , λ(t1 ) = A′ (x(t1 ))
b) Problème avec ligne terminale horizontale : t0 , x0 , x1 donnés et t1 libre
x(t0 ) = x0 , x(t1 ) = x1 , H(t1 , x(t1 ), u(t1), λ(t1 )) = 0
c) Problème avec contrainte d’égalité au point terminal : φ(t1 ) = x(t1 ) = x1
avec φ de classe C 1 et x1 donnés
x(t0 ) = x0 , φ(t1 ) = x1 , H(t1 , x(t1 ), u(t1 ), λ(t1 )) − λ(t1 )φ′ (t1 ) = 0
d) Problème avec ligne terminale verticale tronquée :
λ(t1 ) − A′ (x(t1 )) ≥ 0, (λ(t1 ) − A′ (x(t1 ))(x(t1 ) − a) = 0
e) Problème avec ligne terminale horizontale tronquée :
H(t1 , x(t1 ), u(t1 ), λ(t1 )) ≥ 0, t1 ≤ T, (t1 − T )H(t1 , x(t1 ), u(t1 ), λ(t1 )) = 0.

où H(t, x(t), u(t), λ(t)) = F (t, x(t), u(t)) + λ(t)f (t, x(t), u(t)) est le hamiltonien associé.

3.5 Interprétation économique des conditions nécessaires

d’optimalité
Pour une meilleure maı̂trise des méthodes mathématiques et de leurs résultats, il est souvent
utile de disposer d’une interprétation économique intuitive de leur signification.
Robert Dorfman [dans An economic review, December 1969, 817-831] a montré que chacune
des conditions nécessaires d’optimalité figurant dans le principe du maximum a une signification
économique intuitivement bien fondée.
Pour comprendre plus aisément ses observations, considérons le problème le plus simple du
contrôle optimal dans le cadre suivant :
Une entreprise cherche à maximiser son profit total sur une période [0, T ]. Elle dispose d’un
capital productif K ayant à l’instant 0 une valeur K(0) = k0 . Sa politique managériale est décrite
une variable de décision u.
A tout instant t
• son profit depend de la valeur K(t) de son capital et de la politique u(t) choisie et est donc
désigné par π(t, K(t), u(t)).
• le taux de variation de son capital vérifie l’équation

K̇(t) = f (t, K(t), u(t)).

Le problème de cette entreprise se formule donc comme suit :

60CHAPITRE 3. CONTRÔLE OPTIMAL EN TEMPS CONTINU : PRINCIPE DU MAXIMUM

RT
max
 Π(K, u) = 0
π(t, K(t), u(t))dt
K̇(t) = f (t, K(t), u(t)) (P )
(
K(0) = K0
Supposons que (K, u) est une solution optimale de (P ), λ la variable de co-état associée à cette
solution et H le Hamiltonien de (P ).
a) on a
Z T
Π(K, u) = [H(t, K(t), u(t), λ(t)) + λ̇(t)K(t)]dt − λ(T )K(T ) + λ(0)K0 .
0

Donc
∂Π(K, u) ∂Π(K, u)
= λ(0) et = −λ(T ).
∂K0 ∂K(T )
• λ(0) mesure alors la sensibilité du profit total par rapport au capital initial. Une augmentation
du capital initial d’une unité ”infinitésimale” ajoute au profit total un montant de λ(0).

λ(0) = prix caché d’une unité de capital initial

• De même une économie sur le capital final d’une unité ”infinitésimale” diminue le profit total
d’un montant de λ(T ). Alors

λ(T ) = prix caché d’une unité de capital final.

• De façon généraleλ(t) représente le prix caché d’une unité de capital à l’instant t.
b) On a :
π(t, K(t), u(t)) + λ(t)f (t, K(t), u(t)) = H(t, K(t), u(t), λ(t)).
Or
π(t, K(t), u(t)) = profit à l’instant t correspondant à la politique u(t)
= effet de u(t) sur le profit courant.
et
λ(t)f (t, K(t), u(t)) = taux de variation de la valeur du capital
(en terme de profit )à l’instant t correspondant à la politique u(t) .
= effet de u(t) sur le profit futur.

Donc H(t, K(t), u(t), λ(t)) représente la perspective globale de profit à l’instant t correspondant
à u(t).
On a la condition d’optimalité :
∂H ∂π ∂f ∂π ∂f
0= = + λ(t) ⇐⇒ = −λ(t) .
∂u ∂u ∂u ∂u ∂u
On dit alors que la politique optimale u(t) assure l’équilibre entre l’accroissement marginal du
profit courant et la diminution marginale du profit futur induite par la variation du capital.
c) Considérons l’équation de co-état
∂H
λ̇(t) = − (t, k(t), u(t), λ(t)).
∂K
C’est-à-dire :
∂π ∂f
−λ̇(t) = (t, K(t), u(t)) + λ(t) (t, K(t), u(t)).
∂K ∂K
3.5. INTERPRÉTATION ÉCONOMIQUE DES CONDITIONS NÉCESSAIRES D’OPTIMALITÉ61

Alors
λ̇(t) = taux de depréciation du prix caché d’une unité de capital,
∂π
= contributiion marginale du capital au profit courant
∂K
et
∂f
λ(t) = contribution marginale du capital au profit futur.
∂K
le principe du maximum dit alors que : le taux de depréciation du prix caché du capital est
égal à la contribution marginale du capital au profit de l’entreprise (profit courant+profit futur).
d) On a la condition de transversalité : λ(T ) = 0.
Cela signifie que le prix du capital chute à zero en fin de période. En effet l’horizon prévu
étant T , il est tacitement convenu que seul le profit réalisé durant la période [0, T ] importe et
par suite, la reserve de capital encore disponible à l’instant T ne pouvant plus être fructifié[ n’a
aucune valeur.
Les conditions de transversalité liées à d’autres données s’interprétant également. Par exemple
dans le cas
• d’une droite terminale horizontale [T non fixé et K(T ) fixé], la condition de transversalité
est : H(T, K(T ), u(T ), λ(T )) = 0. Cela signifie qu’en fin de période, il n’y a aucune perspective de
profit (ni courant, ni futur).

3.5.1 Principe du maximum : Hamiltonien courant

Dans les applications économiques du contrôle optimal, la fonction intégrante F contient un
facteur e−ρt . L’expression de F est donc de la forme

F (t, x(t), u(t)) = eρt G(t, x(t), u(t))

et le problème simple de contrôle optimal (P SCT ) est :

 R t1 −ρt

 max J(x, u) = t0
e G(t, x(t), u(t))dt

ẋ(t) = f (t, x(t), u(t))

 x(t0 ) = x0

x(t1 ) = x1

Le Hamiltonien associé est donc :

H(t, x(t), u(t), λ(t)) = e−ρt G(t, x(t), u(t)) + λ(t)f (t, x(t), u(t)).

Définition 3.5.1 Étant donné le problème (P SCT ), et H le hamiltonien associé avec λ le mul-
tiplicateur de Lagrange, on appelle :
a) multiplicateur de Lagrange en valeur courante la fonction m définie par

m(t) = eρt λ(t).

b) hamiltonien en valeur courante (hamiltonien courant) la fonction

Hc (t, x(t), u(t), m(t)) = eρt H(t, x(t), u(t), λ(t)) = G(t, x(t), u(t)) + m(t)f (t, x(t), u(t))
62CHAPITRE 3. CONTRÔLE OPTIMAL EN TEMPS CONTINU : PRINCIPE DU MAXIMUM

Alors les conditions nécessaires d’optimalité en fonction de m et Hc sont :

• Le principe du maximum est : u est solution optimale du problème :

maxHC
u

ce qui est caractérisé par

∂HC ∂ 2 HC
= 0, ≤ 0.
∂u ∂u2
soit :
∂Hc
Gu (t, x(t), u(t)) + m(t)f (t, x(t), u(t)) = 0, ≤0
∂u2
• l’équation d’évolution est :
∂Hc
ẋ = = f (t, x(t), u(t))
∂m
• l’équation de co-état est :
∂Hc
ṁ = − + ρm
∂m
qui se traduit par :

ṁ = −Gx (t, x(t), m(t)) − m(t)fx (t, x(t), u(t)) + ρm(t).

• Condition de transversalité :
a) m(T ) = 0 (droite terminale verticale),
b) m(T ) ≥ 0, [x(T ) − xmin ]m(T ) = 0, (droite terminale verticale tronquée),
c) HC (T ) = 0 ⇐⇒ G(T, x(T ), u(T )) + m(T )f (T, x(T ), u(T )) = 0, (droite terminale horizon-
tale).

Exemple 3.5.1

Considérons le problème
RT
max J(K, I) =
 0
e−ρt [Π(K)C (I)]dt
K̇ = I
K(0) = K0 .

Où K =Valeur du capital.

Π =Profit.
I =Investicement.
C =Coût d’investissement (d’ajustement)
avec Π′′ (K) < 0, C ′ (I) > 0, C ′′ (I) > 0.
Le problème a pour hamiltonien

H = [Π(K) − C(I)]e−ρt + λI.

et pour conditions nécessaires d’optimalité (sans celle de transversalité)

 ∂H ′ −ρt
 ∂I = 0 c’est à dire − C (I)e + λ = 0
K̇ = ∂H
∂λ
⇔ K̇ = I
 ∂H
λ̇ = − ∂K ⇔ λ̇ = −Π(K)e−ρt .
3.5. INTERPRÉTATION ÉCONOMIQUE DES CONDITIONS NÉCESSAIRES D’OPTIMALITÉ63

En utilisant le hamiltonien courant on obtient :

HC = Π(K) − C(I) + mI

∂HC
o= ⇔ −C ′ (I) + m = 0 (i)
∂I
∂H − C
K̇ = ⇔ K̇ = I (ii)
∂m
∂h − C
ṁ = − + ρm ⇔ ṁ = −Π′ (K) + ρm (iii)
∂m
La version hamiltonien courant est autonome[la variable temps n’intervient pas de façon ex-
plicite dans les équations].
(i) donne m = C ′ (I) > 0 et donc dm
dI
= C ′′ (I) > 0 Ainsi m est strictement croissant relativement
à I.
Elle possède donc une fonction réciproque ψ = C ′−1 ⇒ I = ψ(m) avec ψ ′ > 0. combiné avec
(ii) cela devient

K̇ = ψ(m).
La résolution du système 
ṁ = −Π′ (K) + ρm
K̇ = ψ(m)
permettra de trouver ensuite la variable de contrôle optimale I α .

3.5.2 Conditions suffisantes d’optimalité

Nous avons vu des conditions nécessaires pour qu’une solution réalisable d’un problème de
contrôle optimal en soit une solution optimale. En général ces conditions nécessaires ne sont pas
suffisantes. Cependant, elles le sont lorsque certaines conditions de concavité sont remplies.

Théorème 3.5.1 Considérons le problème

Rt
max J(x, u) = t01 F (t, t(t), u(t))dt + A(x(t1 ))


 ẋ(t) = f (t, x(t), u(t))

 x(t ) = x
0 0

 x(t1 ) = x1


t0 , t1 , x0 , x1 donnés

Si F est concave en (x, u), f linéaire en (x, u) et A concave, alors les conditions nécessaires
d’optimalité sont aussi suffisantes.

Preuve : Soit (x, u) réalisable et associée à λ vérifiant les conditions nécessaires d’optimalité.
Considérons (y, v) une solution réalisable du problème. On a :
Z t1
J(y, v) − J(x, u) = [F (t, y, v) − F (t, x, u)]dt + A(y(t1)) − A(x(t1 )).
t0
64CHAPITRE 3. CONTRÔLE OPTIMAL EN TEMPS CONTINU : PRINCIPE DU MAXIMUM

Les fonctions F et f étant concaves par rapport à (x, u) on a :

F (t, y, v) − F (t, x, u) ≤ Fx (t, x, u)(y, v) + Fu (t, x, u)(v − u),

f (t, y, v) − f (t, x, u) ≤ fx (t, x, u)(y, v) + fu (t, x, u)(v − u).

Par conséquent
R t1
J(y, v) − J(x, u) ≤ {Fx (t, x, u)(y, v) + Fu (t, x, u)(v − u)} dt + A(y(t1 )) − A(x(t
o 1 ))
Rtt01 n
≤ t0 [−λ̇(t) − λ(t)fx (t, x, u)][y − x] + [−λ(t)fx (t, x, u)][v − u] dt
+A(y(t1 )) − A(x(t1 )).

Or Z Z
t1 t1
−λ̇(t)(y(t) − x(t))dt = −λ(t1 )[y(t1 ) − x(t1 )] + [ẏ(t) − ẋ(t)]dt
t0 t0

soit
Z t1 Z t1
−λ̇(t)(y(t) − x(t))dt = −λ(t1 )(y(t1) − x(t1 )) + λ(t)[f (t, y, v) − f (t, x, u)]dt.
t0 t0

On a aussi
A(y(t1 )) − A(x(t1 )) ≤ A′ (x(t1 ))[y(t1 ) − x(t1 )]
car A est concave. Alors
Rt
J(y, v) − J(x, u) ≤ t01 λ(t)[f (t, y, v) − f (t, x, u) − fx (t, x, u)(y − u)
−fu (t, x, u)(v − u)]dt + [A′ (x(t1 )) − λ(t1 )][y(t1 ) − x(t1 )].

Or l’intégrante du second membre est nulle si f est linéaire en (x, u). Donc

J((y, v) − J(x, u) ≤ [A′ (x(t1 )) − λ(t1 )](y(t1 ) − x(t1 )]

En outre x(t1 ) = x1 alors x(t1 ) − y(t1 ) = 0 et donc

[A′ (x(t1 )) − λ(t1 )](y(t1 ) − x(t1 )) = 0.

Par conséquent J(y, v) − J(x, u) ≤ 0. Donc (x, u) est une solution optimale. 

Exemple 3.5.2

Considérons le problème
R T −ρt
max
 J(K, I) = 0
e [Π(K) − C(I)]dt.
K̇ = I
K(0) = K0 , T donné

où
Π(K) < 0, C ′ (I) > 0 et C ′′ (I) > 0.
On remarque que

(K, I) 7→ f (t, K, I) = I est définit ,concave en (K,I) et linéaire en I.

3.5. INTERPRÉTATION ÉCONOMIQUE DES CONDITIONS NÉCESSAIRES D’OPTIMALITÉ65

F (t, K, I) = [Π(K) − C(I)]eρt

FK = Π(K)e−ρt , FI = −C(I)e−ρt , FKK = Π′′ (K)e−ρt

FKI = FIk = 0 FII = −C ′′ (I)e−ρt .

La matrice hessienne de F est
 
Π′′ (K) − C ′′ (I) e−ρt

est de f negative. Donc les conditions nécessaires d’optimalité sont suffisantes.

On montre aussi qu’étant donné le problème du théorème ci-dessus

Théorème 3.5.2 Si F et f sont concaves en (x, u), A concave et si (x, u) est une solution
réalisable ayant un multiplicateur λ ≥ 0 vérifiant les conditions nécessaires d’optimalité, alors
(x, u) est optimale.
66CHAPITRE 3. CONTRÔLE OPTIMAL EN TEMPS CONTINU : PRINCIPE DU MAXIMUM
Chapitre 4

Programmation dynamique

4.1 Introduction
La programmation dynamique est une méthode d’optimisation procédant par énumération
implicite des solutions. Bien que déjà pratiquée auparavant, elle est élévée au rang de méthode
générale de résolution avec les travaux de Bellman qui a formalisé l’approche et l’a baptisée.
Cette approche permet de résoudre efficacement des problèmes de décision séquentiels, c’est-
à-dire pour lesquels on désire minimiser ou maximiser un critère séparable en temps, le long
d’une trajectoire. Plus généralement, elle consiste à aborder les problèmes d’optimisation avec
une stratégie consistant en deux points essentiels :
- décomposer le problème en une séquence de problèmes,
- établir une relation de récurrence entre les solutions optimales des problèmes.
Cette méthode d’énumération extrêmement efficace et robuste est basée sur le principe d’op-
timalité de Bellman qui a été enoncé sous sa forme actuelle par Richard Bellman. Ce principe est
à première vue totalement évident. Il s’énonce comme suit :
Principe d’optimalité de Bellman
Dans un processus d’optimisation dynamique, une suite de décisiosn est optimale si, quel que
soient l’état et l’instant considérés sur la trajectoire qui lui est associée, les décisions ultérieures
constituent une suite optimale de décisions pour le sous problème dynamique ayant cet état et cet
instant comme conditions initiales.

4.2 Programmation dynamique en temps discret : optimi-

sation combinatoire

4.2.1 Horizon fini

a) Notation et remarques préliminaires

On se propose d’étudier les problèmes de programmation dynamique en temps discret et en

horizon fini

67
68 CHAPITRE 4. PROGRAMMATION DYNAMIQUE

nP o
T −1
sup t=0 vt (xt , xt+1 ) + vT (xT )

 0 x ∈ A donné


x =
xt ∈ A

 xt+1 ∈ Γt (xt )

t = 0, · · · , T − 1
T s’appelle l’horizon du problème,
A est l’espace des états,
Γt est une correspondance de A, (ie une application de A dans l’ensemble des parties de A)
qui modélise les contraintes sur la dynamique
vt est une fonction de A × A → R ce sont les payoffs (profits) des périodes et vT est le profit
terminal.
Sans perte de généralités, on supposera que vT = 0.
On note graph(Γt ) le graphe de la correspondance Γ − t c’est-à-dire :
graph(Γt ) = {(x, y) ∈ A × A : y ∈ Γt (x)}.
On supposera que les correspondances Γt sont à valeurs non vides ie Γt (x) 6= ∅, pour tout
x ∈ A.
Concernant l’existence de solutions, remarquons que si l’on suppose que A est un espace
métrique compact, que pour t = 0, · · · , T − 1, graph(Γt ) est fermé (donc compact dans A × A) et
que vt ∈ C 0 (graph(Γt ), R), alors il est évident que ces conditions assurent que le problème admet
au moins une solution optimale.
Notons que ces conditions sont toujours satisfaites dans le cas où l’espace d’état A est fini.

b) Principe de la programmation dynamique

Pour x ∈ A, on définit les fonctions valeurs :
 
PT −1 xt+1 ∈ Γt (xt )
V (0, x) = sup t=0 vt (xt , xt+1 ) : x = x (P0 )
0

 
PT −1 x ∈ Γt (xt )
V (1, x) = sup t=1 vt (xt , xt+1 ) : t+1 (P1 )
x1 = x

..
.
 
PT −1 x ∈ Γt (xt )
V (i, x) = sup t=i vt (xt , xt+1 ) : t+1 (Pi )
xi = x

..
.

V (T − 1, x) = sup {vT −1 (x, xT ) : xT ∈ ΓT −1 (x)} (PT −1 )

V (T, x) = vT (x) = 0
On dira que (x0 , x1 , · · · , xT ) = (x, x1 , · · · , xT ) est solution optimale du problème (P0 ) si cette
suite est réalisable et
T −1
X
V (0, x) = vt (xt , xt+1 )
t=0
4.2. PROGRAMMATION DYNAMIQUE EN TEMPS DISCRET : OPTIMISATION COMBINATOIRE69

Le principe de la programmation dynamique s’exprime comme suit :

Proposition 4.2.1 Soit x ∈ A ; si (x0 , x1 , · · · , xT ) = (x, x1 , · · · , xT ) est solution optimale du
problème (P0 ) alors pour tout τ ∈ {1, · · · , T −1}, la suite (xτ , x1 , · · · , xT ) est solution du problème
(Pτ ).
Preuve :
Supposons que pour une date τ ∈ {1, 2, · · · , T − 1}, la suite (xτ , xτ +1 , · · · , xT } n’est pas
solution optimale du problème (Pτ ). Alors il existe une suite (zτ , zτ +1 , · · · , zT } = (xτ , zτ +1 , · · · , zT }
réalisable pour Pτ ) telle que
T −1
X T −1
X
vt (xt , xt+1 ) < vt (zt , zt+1 ).
t=τ t=τ

En définissant la suite (y0 , · · · , yT } = (x, x1 , xτ , zτ +1 , · · · , zT } qui est réalisable pour (P0 ), on

obtient :
T −1
X
v(0, x) < vt (yt , yt+1 ).
t=0
Ce qui est contradictoire car v(0, x) est le supremum de (P0 ). 
Sans faire l’hypothèse d’une suite optimale et en autorisant les fonction-valeurs à prendre
éventuellment la valeur +∞, on obtient des relations fonctionnelles récursives (équations de Bell-
man) reliant les fonction-valeurs aux dates successives.
Proposition 4.2.2 Soit x ∈ A. On a :
V (0, x) = sup {v0 (x, y) + V (1, y) : y ∈ Γ0 (x)} (4.1)
De même, pour t ∈ {1, · · · , T − 1},
V (t, x) = sup {vt (x, y) + V (t + 1, y) : y ∈ Γt (x)} . (4.2)
(C’est l’équation de Bellman)
Preuve :
Il suffit d’établir la relation (4.1).
Soit y ∈ Γ0 (x) et (y1 , · · · , yT } = (y, · · · , yT } telle que yt+1 ∈ Γt (yt ) pour tout t ≥ 1. La suite
(x, y1 , · · · , yT ) étant admissible pour (P0 ), il vient :
T −1
X
V (0, x) ≥ v0 (x, y) + vt (yt , yt+1 ).
t=1

En passant au supremum en (y2 , · · · , yT ) puis en y = y1 ∈ Γ0 (x) dans le membre de droite il

vient :
V (0, x) ≥ sup {v0 (x, y) + V (1, y) : y ∈ Γ0 (x)} .
Soit ε > 0 telle que
T −1
X
V (0, x) − ε ≤ vt (xt , xt+1 ).
t=0
On a ainsi :
T −1
X
sup {v0 (x, y) + V (1, y) : y ∈ Γ0 (x)} ≥ v0 (x, x1 ) + V (1, x1 ) ≥ vt (xt , xt+1 ) ≥ V (0, x) + ε.
t=0

Comme ε > 0 est arbitraire, on en déduit (4.1). 

70 CHAPITRE 4. PROGRAMMATION DYNAMIQUE

C) Stratégie de résolution
En utilisant la proposition (4.2.2) et la relation terminale V (T, x) = vT (xT ), pour x ∈ A, il
est possible (au moins en théorie mais aussi en pratique dans certaines applications), de calculer
toutes les fonction-valeurs en partant de la date finale T (backward induction). En ”remontant”
les équations, on calcule d’abord V (T − 1, ·) :

V (T − 1, x) ≥ sup {vT −1 (x, y) : y ∈ ΓT −1 (x)} ,

puis V (T − 2, ·) :

V (T − 2, x) ≥ sup {vT −2 (x, y) + V (T − 1, y) : y ∈ ΓT −2 (x)} ,

et ainsi de suite jusqu’à V (0, ·).

Admettons maintenant que l’on connaisse V (0, ·), · · · , V (T − 1, ·), il est alors très facile de
caractériser les suites (ou politiques) optimales :

Proposition 4.2.3 La suite (x, x1 , · · · , xT ) est solution optimale de V (0, x) si et seulement si

pour tout t ∈ {0, · · · , T − 1}, xt+1 est solution de

sup {vt (x, y) + V (t + 1, y) : y ∈ Γt (xt )} . (4.3)

En pratique pour résoudre les équations de Bellman, on procède comme suit :

1) on détermine les fonction-valeurs par backward indution,
2) on détermine ensuite les olitiques optimales (s’il en existe) en résolvant la suite des problèmes
statiques (4.3) qui consistent à déterminer les successeurs optimaux x1 de x0 puis les successeurs
optimaux de x1 etc.
Un exemple : le problème de plus court chemin
Considérons la figure ci-dessous :

C E′

2 3 2 6

B D F′

3 1 5 5 4 10

A C′ E G

3 6 8 4 7 3

B′ D′ F

4 3 7 5

C ′′ E ′′
On s’intéresse au problème qui consiste à trouver le chemin le plus court allant de A à G.
4.3. PROGRAMMATION DYNMIQUE EN TEMPS DISCRET : PROBLÈMES DE COMMANDE71

4.3 Programmation dynmique en temps discret : Problèmes

de commande
On considère un système dynamique discret

xn+1 = fn (xn , un ), n = 0, 1, 2, · · · , N − 1, x0 = x̄,

où les indices n ∈ N désignent les instants (discrets), l’instant N ∈ N∗ étant l’horizon du problème,
xn est l’état du système à l’instant n, un est le contrôle, c’est-à-dire la décision prise à l’instant n,
fn est la dynamique du problème à l’instant n.
Nous supposerons que l’état du système vit dans un ensemble X fixé (i.e. xn ∈ X pour tout
n)., le contrôle à l’instant n dans un ensemble Un (un ∈ Un pour tout n) et fn : X × Un → X pour
tout n. La condition initiale x̄ ∈ X du système est fixée.
En général, dans un problème de contrôle optimal discret, on cherche à minimiser un coût
N
X −1
min Fn (xn , un ) + g(xN )
un
n=0

sur tous les choix possibles des paramètres u0 , · · · , uN −1 . La quantité Fn (xn , un ) est le coût courant
à l’instant n, g étant le coût terminal : Fn : X × Un → R, g : X → R.
On peut parfois avoir affaire à des problèmes en horizon infini (c’est-à-dire N = +∞). Il n’y a
alors pas de paiement terminal et le problème est généralement escompté par un taux d’escompte
r ∈]0, 1[ (dont la signification est qu’une unité monétaire aujourd’hui vaut r unités monétaires
demain) :
X+∞
min r n F (xn , un )
un
n=0

4.3.1 Problème en horizon fini

A priori, on ne s’intéresse dans le problème de minimisation considéré plus haut qu’à la po-
sition initiale x̄ qui est donnée. Pour mettre en œuvre le principe de programmation dynamique,
nous allons résoudre un grand nombre de problèmes (pour toutes les conditions initiales et en
commençant à n’importe quel instant).
Pour cela, définissons la fonction valeur du problème comme étant la quantité, pour tout x̄ ∈ X
et n̄ ∈ {0, · · · , N − 1}
N
X −1
V (n̄, x̄) := inf Fn (xn , un ) + G(xN )
un
n=n̄

où l’infimum est pris sur les éléments (un ) = (un̄ , · · · , uN −1 ) de Un̄ × · · · × UN −1 et où l’état
(xn )n∈{n̄,··· ,N } est défini par récurrence par

xn̄ = x̄
xn+1 = fn (xn , un ), n = n̄, n̄ + 1, · · · , N − 1

La quantité qui nous intéresse est V (0, x̄).

Théorème 4.3.1 (Programmation dynamique) Pour tout x ∈ X et n̄ ∈ {0, · · · , N − 1}, on

a:
V (n̄, x) := inf {Fn̄ (x, u) + V (n̄ + 1, fn̄ (x, u))} , V (N, x) = G(x). (4.4)
u∈Un̄
72 CHAPITRE 4. PROGRAMMATION DYNAMIQUE

Preuve :
Posons
W (n̄, x) = inf {Fn̄ (x, u) + V (n̄ + 1, fn̄ (x, u))} .
u∈Un̄

On veut montrer que W = V .

Soit ε > 0 et (un )n≥n̄ un contrôle ε-optimal pour V (n̄, x). Alors
PN −1 PN −1
V (n̄, x) + ε ≥ n=n̄ Fn (xn , un ) + G(xN ) = Fn̄ (x, un̄ ) + n=n̄+1 Fn (xn , un ) + G(xN )
≥ Fn̄ (x, un̄ ) + V (n̄ + 1, fn̄ (x, un̄ )) ≥ W (n̄, x)

puisque xn̄+1 = fn̄ (x, un̄ ). Comme ε est arbitraire, cela montre que V ≥ W .
Inversement, soit un̄ ∈ Un̄ ε-optimal pour W (n̄, x) :

W (n̄, x) + ε ≥ Fn̄ (x, un̄ ) + V (n̄ + 1, fn̄ (x, un̄ )).

Soit également (un )n≥n̄+1 ε-optimal pour V (n̄ + 1, fn̄ (x, un̄ )) :
N
X −1
V (n̄ + 1, fn̄ (x, un̄ )) + ε ≥ Fn (xn , un ) + G(xN ).
n=n̄+1

Définissons alors le contrôle 

un̄ si n = n̄
ûn =
un si n ≥ n̄ + 1
et notons (x̂n ) la solution associée isue de x en temps x̄. Notons que x̂n̄+1 = x, x̂n̄+1 = fn̄ (x, un̄ )
et x̂n = xn pour n ≥ n̄ + 1. Alors
PN −1 PN −1
V (n̄, x) ≤ n=n̄+1 Fn (x̂n , ûn ) + G(x̂N ) = Fn̄ (x, un̄ ) + n=n̄+1 Fn (xn , un ) + G(xN )
≤ Fn̄ (x, un̄ ) + V (n̄ + 1, fn̄ (x, un̄ )) + ε ≤ W (n̄, x) + 2ε.

Comme ε est arbitraire, cela montre que V ≤ W et conclut la preuve. 

L’égalité (4.4) ci-dessus porte le nom d’équation de Bellman.
Il faut noter que le problème dans le membre de droite de l’égalité est en principe ”plus simple”
à résoudre que le problème initial, puisqu’il s’agit d’un problème de minimisation standard. Pour
calculer V (0, x), on résout par induction rétrograde les problèmes :

V (N − 1, x) = inf u∈UN−1 {FN −1 (x, u) + G(fN −1 (x, u))} ∀ x ∈ X,

V (N − 2, x) = inf u∈UN−2 {FN −2 (x, u) + V (N − 1, fN −2 (x, u))} ∀ x ∈ X
..
.
V (0, x) = inf u∈U0 {F0 (x, u) + V (1, f0 (x, u))} ∀x ∈ X

Un des principaux intérêts de la fonction valeur est de permettre le calcul des solutions opti-
males.
On a les résultats suivants :

Proposition 4.3.1 Si A et B sont deux ensembles métriques et U compact, si l’application h :

A × B → R est continue, alors l’application marginale

h̄(x) = min h(x, u)

u∈B

est continue.
4.3. PROGRAMMATION DYNMIQUE EN TEMPS DISCRET : PROBLÈMES DE COMMANDE73

Proposition 4.3.2 Supposons que les Un et X sont des ensembles métriques, que les Un sont
compacts et que les fonctions fn : X × Un → X, Fn : X × Un → R et G : X → R sont continues
pour tout n ∈ {0, · · · , N − 1}. Alors l’application x 7→ V (n, x) est continue.

Preuve :
Cela se montre par récurrence descendante, en utilisant le principe de programmation dy-
namique.La continuité pour n = N est vraie par hypothèse, puisque V (N, x) = G(x) avec G
continue.
Supposons la continuité de V (n + 1, )˙ et montrons celle de V (n, ·). Par programmation dyna-
mique, on a :
V (n, x) = inf {Fn (x, u) + V (n + 1, fn (x, u))} .
u∈Un

Or l’application (x, u) 7→ Fn (x, u) + V (n + 1, fn (x, u)) est continue puisque Fn et fn sont conit-
nues par hypothèses et que V (n + 1, )˙ aussi est continue par hypothèse de récurrence. L’ensemble
Un étant compact, cela implique la continuité de V (n, ·) d’après la proposition (4.3.1). D’où la
proposition. 

Définition 4.3.1 Pour tout (n, x) ∈ {0, · · · , N − 1} × X, On appelle un ”feedback optimal”, tout
u∗n (x) ∈ Un vérifiant

Fn (x, u∗n (x)) + V (n + 1, fn (x, u∗n (x))) = inf {Fn (x, u) + V (n + 1, fn (x, u))}.
u∈Un

L’existence d’un tel ”feedback optimal” est assurée par les hypothèses suivantes.
Supposons que les Un et X sont des ensembles métriques, que les Un sont compacts et que
les fonctions fn : X × Un → X, Fn : X × Un → R et G : X → R sont continues pour tout
n ∈ {0, · · · , N − 1}. Alors l’application x 7→ V (n, x) est continue. Dans ce cas, l’application
u 7→ Fn (x, u∗n (x)) + V (n + 1, fn (x, u∗n (x))) est continue sur Un (pour tout x ∈ X) et, comme Un
est compact, a donc un minimum u∗n (x) sur Un .
On a la proposition suivante :

Proposition 4.3.3 Supposons que, pour tout (n, x) ∈ {0, · · · , N − 1} × X, il existe u∗n (x) un
”feedback optimal”.
Soit x̄ une position initiale fixée. Si on définit par récurrence les suites (ūn ) et (x̄n ) par

x̄0 = x̄, ūn = u∗n (x̄n ), x̄n+1 = fn (x̄n , ūn ),

alors la suite (ūn ) est optimale pour le problème de contrôle discret :

N
X −1
V (0, x̄) = Fn (x̄n , ūn ) + G(x̄N ).
n=0

Preuve : Montrons par récurrence que pour tout n̄ ∈ {0, · · · , N},

n̄−1
X
V (0, x̄) = Fn (x̄n , ūn ) + V (n̄, x̄n̄ ).
n=0

Cette relation est clairement vraie pour n̄ = 0. Supposons-la pour un certain n̄. En utilisant
d’abord la programmation dynamique puis le choix de u∗ , on a :
V (n̄, x̄n̄ ) = inf {Fn̄ (x̄n̄ , u) + V (n̄ + 1, fn̄ (x̄n̄ , u))} = Fn̄ (x̄n̄ , u∗n̄ (x̄n )) + V (n̄ + 1, fn̄ (x̄n̄ , u∗n̄ (xn̄ )))
u∈Un
74 CHAPITRE 4. PROGRAMMATION DYNAMIQUE

où u∗n̄ (xn̄ ) = ūn̄ et fn̄ (x̄n̄ , un̄∗ (xn̄ )) = x̄n̄+1 . On utilise alors l’hypothèse de récurrence pour obtenir :
Pn̄−1 P
V (0, x̄) = Pn=0 Fn (x̄n , ūn ) + V (n̄, x̄n̄ ) = n̄−1n=0 Fn (x̄n , ūn ) + Fn̄ (x̄n̄ , ūn̄ ) + V (n̄ + 1, x̄n̄+1 )
n̄
= n=0 Fn (x̄n , ūn ) + V (n̄ + 1, x̄n̄+1 ),

ce qui est la relation au rang n̄+1. Par récurrence on en déduit le résultat pour tout n̄ ∈ {0, · · · , N}.
En particulier, pour n̄ = N, on a V (n̄, x̄n̄ ) = G(x̄N ) et donc
N
X −1
V (0, x̄) = Fn (x̄n , ūn ) + G(x̄N ).
n=0

Ce qui prouve l’optimalité de (ūn ). 

4.3.2 Problème en horizon infini

On suppose ici que l’ensemble de contrôle U est indépendant du temps, que le coût courant
F : X × U → R est borné et indépendant du temps, et que le taux d’intérêt r vérifie : r ∈]0, 1[.
Pour tout x̄ ∈ X, on pose :
∞
X
V (x̄) = inf r n F (xn , un ),
(un )
n=0

où l’infimum est pris sur les éléments (un )n∈N de U et où l’état (xn )n∈N est défini par récurrence
par 
x0 = x̄
xn+1 = f (xn , un ), n ∈ N
P∞ n
Il faut noter que la somme n=0 r L(xn , un ) est bien convergente car F est bornée et r ∈]0, 1[.

Théorème 4.3.2 (Programmation dynamique) Pour tout x ∈ X, on a :

V (x) = inf {F (x, u) + rV (f (x, u))} . (4.5)

u∈U

L’égalité ci-dessus porte le nom d’équation de Bellman.

Preuve :
Posons
W (x) := inf {F (x, u) + rV (f (x, u))} .
u∈U

On veut montrer que W = V .

Soit ε > 0 et (un ) un contrôle ε-optimal pour V (x). Alors
P P
V (x) + ε ≥ +∞ n
n=0 r F (xn , un ) = F (x, u0 ) + +∞ n
n=1 r F (xn , un )
P+∞ n
= F (x, u0) + r n=0 r F (xn+1 , un+1) ≥ F (x, u0) + rV (f (x, u0)) ≥ W (x)

(on a utilisé le fait la trajectoire (xn+1 )n≥0 vérifie effectivement la relation de récurrence car f ne
dépend pas de n). Cela prouve que V (x) ≥ W (x).
Inversement, soit u ∈ U ε-optimal pour W (x),(un ) ε-optimal pour V (f (x, u)) et (xn ) la tra-
jectoire associée issue de f (x, u). On définit le contrôle

u si n = 0
ûn :=
un+1 si n ≥ 1
4.3. PROGRAMMATION DYNMIQUE EN TEMPS DISCRET : PROBLÈMES DE COMMANDE75

et notons (x̂n )n≥0 la trajectoire associée issue de x. Alors x̂1 = f (x̂0 , û0 ) = f (x, u) = x0 et donc,
par récurrence, x̂n+1 = xn pour tout n ≥ 0 (on utilise le fait que f ne dépend pas de n). Par
conséquent,
P
W (x) + (1 + r)ε ≥ F (x, u) + rV (f (x, u)) + rε ≥ F (x̂0 ), û0 ) + r +∞ r n F (xn , un )
P+∞ n+1 P+∞ n=0
= F (x̂0 ), û0) + n=0 r F (x̂n+1 , ûn+1 ) = n=0 r n F (x̂n , ûn ) ≥ V (x)

D’où W (x) ≥ V (x), ce qui conclut la démonstration. 

La relation (4.5) caractérise la fonction valeur, au moins dans certains cadres. Pour expliquer
cela, posons :
kF k∞ := sup |F (x, u)|
(x,u)∈(X×U )

et définissons B(X) comme l’ensemble des applications bornées de X dans R. On rappelle que
B(X), muni de la norme
khk∞ = sup |h(x)| ∀ h ∈ B(X)
x∈X

est un espace de Banach. Définissons l’opérateur (non linéaire) T : B(X) → B(X) par

T (h)(x) = inf {F (x, u) + rh(f (x, u))} ∀ h ∈ B(X).

u∈U

Notons qu’en effet T (h) ∈ B(X) puisque, pour tout x ∈ X,

|T (h)(x)| ≤ inf {F (x, u) + r|h(f (x, u))|} ≤ kF k∞ + rkhk∞ .

u∈U

Donc kT (h)k∞ ≤ kF k∞ + rkhk∞ . et T (h) ∈ B(X).

Théorème 4.3.3 L’opérateur T est contractant dans B(X) :

kT (h) − T (h′ )k∞ ≤ rkh − h′ k∞ ∀ h, h′ ∈ B(X),

et la fonction valeur V est son unique point fixe B(X)

Preuve : Remarquons d’abord que, lorsque F est bornée, V l’est aussi avec
∞
X kF k∞
kV k∞ ≤ r n kF k∞ ≤ .
n=0
1−r

Le théorème (4.3.2) implique que V est un point fixe de T .

Il reste à vérifier que T est contractant, car alors il possède un unique point fixe.
Soient h, h′ ∈ B(X) et x ∈ X. Pour tout u ∈ U, on a :

F (x, u) + rh(f (x, u)) ≤ F (x, u) + rh′ (f (x, u)) + rkh′ − hk∞ .

En prenant l’inf par rapport à u à gauche et à droite, on obtient :

T (h)(x) = inf u∈U {F (x, u) + rh(f (x, u))}

≤ inf u∈U {F (x, u) + rh′ (f (x, u))} + rkh′ − hk∞ = T (h′ )(x) + rkh′ − hk∞ .

On en déduit que
T (h)(x) − T (h′ )(x) ≤ rkh′ − hk∞ .
76 CHAPITRE 4. PROGRAMMATION DYNAMIQUE

En inversant les rôles de h et h′ on obtient de même

T (h′ )(x) − T (h)(x) ≤ rkh′ − hk∞ .

D’où
|T (h)(x) − T (h′ )(x)| ≤ rkh′ − hk∞ .
En prenant le sup en xinX on obtient finalement

kT (h) − T (h′ )k∞ ≤ rkh′ − hk∞

ce qui prouve que T est une contraction puisque r ∈ 0, 1[. 
La caractérisation précédente fournit un algorithme pour calculer la fonction valeur. Pour
une fonction h0 ∈ B(X) arbitraire, on définit par récurrence la suite de fonctions (hk ) par
hk+1 = T (hk ). Alors le théorème du point fixe affirme que la suite (hk ) converge dans B(X)
(i.e. uniformément) vers la fonction valeur V . Plus précisément
kV − hk k∞ ≤ r k kV − h0 k∞ ∀ k ∈ N.
Comme pour les problèmes en horizon fini, la fonction valeur peut servir également à décrire
les feedbacks optimaux. Supposons pour cela que, pour tout x ∈ X, il existe un u∗ (x) ∈ U un
feedback optimal, i.e. vérifiant :
F (x, u∗ (x)) + rV (f (x, u∗ (x))) = inf {F (x, u) + rV (f (x, u))} .
u∈U

On peut montrer que, si U et X sont des ensembles métriques, si U est compact et si les
fonctions f : X × U → X et F : X × U → R sont continues, alors un tel feedback existe : en effet
la fonction valeur V est alors continue, et la fonction continue u 7→ F (x, u) + rV (f (x, u)) admet
donc un minimum.

Proposition 4.3.4 Soit x̄ une condition initiale. Si on définit par récurrence les suites (ūn ) et
(x̄n ) par
x̄0 = x̄, ūn = u∗n (x̄n ), x̄n+1 = f (x̄n , ūn ),
alors la suite (ūn ) est optimale pour le problème de contrôle discret :
+∞
X
V (x̄) = r n F (x̄n , ūn ).
n=0

Preuve : Montrons par récurrence que pour tout N ∈ N,

N
X −1
V (x̄) = r n F (x̄n , ūn ) + r N V (x̄N ). (4.6)
n=0

Cette relation est clairement vraie pour N = 0. Supposons-la pour un certain rang N et
montrons-la pour N + 1. En utilisant la programmation dynamique on a :
V (x̄N ) = inf u∈U {F (x̄N , u) + rV (f (x̄N , u))} = F (x̄N , u∗(x̄N )) + rV (f (x̄N , u∗ (x̄N )))
= F (x̄N , ūN ) + rV (f (x̄N , ūN )).
On utilise alors l’hypothèse de récurrence :
PN −1 n PN −1 n
V (x̄) = n=0 r F (x̄n , ūn ) + r N V (x̄N ) = n=0 r F (x̄n , ūn ) + r N F (x̄N , ūN ) + r N +1 V (f (x̄N , ūN ))
PN n
= n=0 r F (x̄n , ūn ) + r N +1 V (x̄N +1 ).
4.4. PROGRAMMATION DYNAMIQUE EN TEMPS CONTINU : CALCUL DES VARIATIONS77

Donc la relation est vraie au rang N + 1 et, par récurrence, pour tout N.
Faisons maintenant tendre N vers +∞ dans la relation (4.6). Comme V est bornée et r ∈]0, 1[,
le terme (r N V (x̄N )) tend vers 0 et (4.6) devient :
+∞
X
V (x̄) = r n F (x̄n , ūn ),
n=0

ce qui prouve l’optimalité de (ūn ). 

4.4 Programmation dynamique en temps continu : calcul

des variations
4.4.1 Principe de la programmation dynamique
On définit la fonctin valeur :
Z T 
n
V (t, x) = inf F (s, y(s), ẏ(s))ds + g(y(T )) : y ∈ C([t, T ], R )y(t) = x (4.7)
t
Clairement V vérifie la condition aux limites :

V (T, x) = g(x) pour tout x ∈ Rn . (4.8)

Le principe de la programmation dynamique dit que : ”si une courbe y issue de x en t = 0 est
optimale entre 0 et T alors elle est encore optimale entre t et T parmi les courbes valant y(t) à la
date t.” Ce principe se traduit ici par la relation suivante :
Proposition 4.4.1 La fonction valeur vérifie pour tout x ∈ Rn et tout t ∈ [0, T ] :
Z t 
V (t, x) = inf F (s, y(s), ẏ(s))ds + V (t, y(t)) : y(0) = x (4.9)
0
Preuve :


4.5 Programmation dynamique en temps continu : problème

de commande
On considère le problème
R t1
inf
 u∈U J(x, u) = t0 F (t, x(t), u(t))dt + G(x(t1 ))
ẋ(t) = f (t, x(t), u(t)), t ∈ [t0 , t1 ] (4.10)
x(t0 ) = x0
où L’ensemble U désigne la famille de toutes les fonctions continues par morceaux de [t0 , t1 ] dans
U.
Dans toute cette partie, nous supposerons que U est un espace métrique compact, que f :
[t0 , t1 ] × Rn × U → Rn est globalement continue et uniformément lipschitzienne par rapport à la
variable : ∃K > 0 tel que
kf (t, x, u) − f (t, y, u)k ≤ Kkx − yk ∀ (t, x, y, u) ∈ [t0 , t1 ] × Rn × Rn × U.
Nous supposerons également que F : [t0 , t1 ] × Rn × U → R et G : Rn → R sont continues.
78 CHAPITRE 4. PROGRAMMATION DYNAMIQUE

4.5.1 Formulation dynamique du problème

L’approche de Bellman pour la résolution du problème (4.10) consiste à exploiter le caractère
dynamique du système. pour cela on commence par introduire la version dynamique du problème
en plaçant l’origine des temps à des dates t ∈ [t0 , t1 ].
Contrôles admissibles : afin de définir l’évolution du système à partir de la date t, nous avons
besoin uniquement de la restriction de la variable de contrôle sur [t, t1 ]. On désignera par :

Ut := {u : [t, t1 ] → U continue par morceaux }.

L’équation d’état du système : l’équation d’état du système est maintenant définie par une
variable de contrôle u ∈ Ut et une condition initaile au temps t :

x(t) = xt , ẋ(s) = f (s, x(s), u(s)).

La fonction de coût : la fonction de coût relative à la période de temps restante est définie par :
Z t1
J(t, xt , u) = F (s, x(s), u(s))ds + G(x(t1 )).
t

La version dynamique du problème (4.10) est définie par :

inf J(t, xt , u). (4.11)

u∈Ut

Le problème (4.10) correspond au cas où l’origine des temps t0 et est donné par V (t0 , x0 ).
L’approche de Bellman consiste à déduire V (t0 , x0 ) à partir de la caractérisation de la fonction
valeur V comme fonction des deux variables t et x.

4.5.2 Principe de la programmation dynamique

On a le théorème suivant :

Théorème 4.5.1 Soient t ∈ [t0 , t1 ] et xt ∈ Rn donnés. Alors, pour tout réel s ∈ [t, t1 ], on a :
Z s 
V (t, xt ) = inf F (r, x(r), u(r))dr + V (s, x(s)) .
u∈Ut t

Preuve :
Pour t ∈ [t0 , t1 ], s ∈ [t, t1 ] et xt ∈ Rn fixés, on note
Z s 
W (t, xt ) = inf F (r, x(r), u(r))dr + V (s, x(s)) .
u∈Ut t

pour montrer que V ≤ W , on considère deux variables de contrôle arbitraires ∈ Ut et v ∈ Us ,

et on remarque que
w = u¶[ t, s[+v¶[ s, t1 ]
définit une variable de contrôle dans Ut . Par définition de V (t, xt ), on a alors :
Rt
V (t, xt ) ≤ J(t, xt , w) = t 1 F (r, x(r), w(r))dr + G(x(t1 ))
Rs Rt
= Rt F (r, x(r), u(r))dr + s 1 F (r, x(r), v(r))dr + G(x(t1 ))
s
= t F (r, x(r), u(r))dr + J(s, x(s), v).
4.5. PROGRAMMATION DYNAMIQUE EN TEMPS CONTINU : PROBLÈME DE COMMANDE79

On obtient alors l’inégalité V ≤ W en prenant l’infimum sur les u ∈ Ut et les v ∈ Us .

Pour obtenir l’inégalité inverse, on se donne un ε > 0 ainsi qu’un contrôle ε-optimal uε ∈ Ut
pour le problème V (t, xt ) :

V (t, xt ) ≤ J(t, xt , uε ) ≤ V (t, xt ) + ε.

En remarquant que la fonction ũε , définie comme la restriction de uε à l’intervalle [s, t1 ], est
une variable de contrôle dans Us , on déduit de la définition de J que :
Rs
W (t, xt ) ≤ Rt F (r, x(r), uε (r))dr + V (s, x(s))
s
≤ t F (r, x(r), uε (r))dr + J(t, xt , ũε )
= J(t, xt , uε )
≤ V (t, xt ) + ε,

et l’inégalité voulue découle du caractère arbitraire du paramètre ε > 0. 

Remarque 4.5.1 Observons que l’argument essentiel de la démonstration est la possibilité de

recollement ou de concaténation des variables de contrôle. Cel n’aurait pas été possible si on s’était
restreint à des variables de contrôle continues.

Remarque 4.5.2 Le principe de la programmation dynamique ci-dessus dit en particulier que la

fonction Z s
s 7→ F (r, x(r), u(r))dr + V (s, x( s))
t

est une fonctionn constante, pour tout choix de la variable de contrôle u ∈ Ut .

4.5.3 Equation de Hamilton-Jacobi

Comme dans l’approche du principe du maximum de Pontryaguine, la recherche du contrôle
optimal est lié à la minimisation du Hamiltonien, on définit :

H ∗ (t, ξ, λ) := inf [F (t, ξ, ν) + hλ, f (t, ξ, ν)i] .

ν∈U

Théorème 4.5.2 Supposons que la fonction valeur V soit de classe C 1 sur [t0 , t1 ]t imesR n . Alors :
i) V est une sursolution de l’équation de Hamilton-Jacobi :

∂V ∂V
(t, ξ) + H ∗ (t, ξ, (t, ξ)) ≥ 0 pour (t, ξ) ∈ [t0 , t1 [×R n .
∂t ∂x
2) Si de plus la fonction H ∗ est continue, alors V solution de l’équation de Hamilton-Jacobi :

∂V ∂V
(t, ξ) + H ∗ (t, ξ, (t, ξ)) = 0 pour (t, ξ) ∈ [t0 , t1 [×Rn .
∂t ∂x

4.5.4 Théorème de vérification

Le résultat principal de ce paragraphe donne une condition suffisante pour qu’une fonction
vérifiant l’équation de Hamilton-Jacobi soit solution du problème d’optimisation dynamique (4.10).
80 CHAPITRE 4. PROGRAMMATION DYNAMIQUE

Théorème 4.5.3 Soit W : [t0 , t1 ] × Rn → R de classe C 1 .

Si
∂W ∂W
W (t1 , ξ) = G(x(t1 ), (t, ξ) + H ∗ (t, ξ, (t, ξ)) = 0,
∂t ∂x
et il existe une variable contrôle u∗ ∈ Ut telle que pour tout s ∈ [t, t1 ] :

∂W ∂W
H ∗ (s, x∗ (s), (s, x∗ (s)))) = F (s, x∗ (s), u∗ (s)) + h (s, x∗ (s)), f (s, x∗ (s), u∗ (s))i,
∂x ∂x
alors V = W .