Ecole Supérieure PRivée d'Ingénierie et Technologies

Spécialité: Mathématiques

Élaboré par
Riahi Mohamed Hédi

Support pédagogique
Programmation Non Linéaire:
Contents

1 Rappel sur les propriétés topologique de Rn 1

1.1 Espace Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Notion de distance dans Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Norme sur Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Notions topologiques associées à une norme . . . . . . . . . . . . . . . . . . . 3

2 FONCTION DE PLUSIEURS VARIABLES 6

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Fonctions de plusieurs variables . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.1 Dénition et exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
[Link] Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
[Link] Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.2 Représentation graphique . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Limite d'une fonction de Rn dans R . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.1 Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.2 Exemples et applications . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4 Continuité d'une fonction de Rn dans R . . . . . . . . . . . . . . . . . . . . . 12
2.4.1 Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Fonctions diérentiables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.5.1 Dérivées partielles, gradient et matrice jacobienne . . . . . . . . . . . 13
2.5.2 Dérivée suivant un vecteur-Dérivée directionnelle . . . . . . . . . . . . 16
2.5.3 Dérivées partielles d'ordre supérieur . . . . . . . . . . . . . . . . . . . 17

3 Optimisation des fonctions de plusieurs variables 20

3.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.1 Notions sur la convexité . . . . . . . . . . . . . . . . . . . . . . . . . . 21
[Link] Ensemble convexe . . . . . . . . . . . . . . . . . . . . . . . . 21
[Link] Fonction convexe . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.1.2 Exemples de problèmes d'optimisation . . . . . . . . . . . . . . . . . . 23
3.2 Résultats d'existence et d'unicité . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.1 Existence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.2 Unicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3 Optimisation sans contrainte . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

ii
CONTENTS iii

3.3.1 Condition d'optimalité du premier ordre . . . . . . . . . . . . . . . . . 26

3.3.2 Condition d'optimalité du second ordre . . . . . . . . . . . . . . . . . 27
3.4 Optimisation avec contrainte . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4.1 Contraintes en égalité . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4.2 Contraintes en égalité et en inégalité . . . . . . . . . . . . . . . . . . . 30

4 Algorithmes d'optimisation 32
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 Algorithme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3 Méthode du gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Mohamed Hédi Riahi

Chapter 1

Rappel sur les propriétés

topologique de Rn

Sommaire
1.1 Espace Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Notion de distance dans Rn . . . . . . . . . . . . . . . . . . . . . 2
1.3 Norme sur Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Notions topologiques associées à une norme . . . . . . . . . . . 3

1
1.1. ESPACE RN 2

1.1 Espace Rn
On désigne par Rn , n ∈ N∗ , l'ensemble de tous les n-uples (x1 , x2 , ...., xn ) où xi , i = 1, ..n
sont des nombres réels. Ainsi:

Rn = {(x1 , x2 , ...., xn ), xi ∈ R∀i ∈ {1, ..., n}}

• Rn est un R espace vectorielle dont la base canonique est (e1 , e2 , ..., en ) avec e1 =
(1, 0, 0, ..., 0), e2 = (0, 1, 0, 0, ..., 0),... et en = (0, 0, ...., 0, 1).

• Si X = (x1 , x2 , ..., xn ) ∈ Rn et Y = (y1 , y2 , ..., yn ) ∈ Rn alors:

 X + Y = (x1 + y1 , x2 + y2 , ..., xn + yn ) ∈ Rn .
 ∀λ ∈ R, λ.X = (λx1 , λx2 , ..., λxn ).

1.2 Notion de distance dans Rn

on appelle distance sur un ensemble E de Rn , une application dénie de E × E à valeurs
dans R+ notée d qui à tout couple (x, y) ∈ E × E fait correspondre un réel positif ou nul
d(x, y) vériant:

1. d(x, y) = 0 SSi x = y .

2. d(x, y) = d(y, x), ∀(x, y) ∈ E 2 .

3. d(x, y) ≤ d(x, z) + d(z, y), ∀(x, y, z) ∈ E 3 .

Exemple:

1. E = R et d(x, y) = |x − y| est une distance sur R.

Remarque 1 Sur un même ensemble E peuvent être dénies plusieurs distnaces.

1.3 Norme sur Rn

On appelle norme sur Rn toute application:
N : Rn → R +
x 7→ N (x).

vériant:
1. N (x) = 0 ⇐⇒ x = 0Rn .

2. ∀λ ∈ R, ∀x ∈ Rn N (λx) = |λ|N (x).

3. N (x + y) ≤ N (x) + N (y), ∀x ∈ Rn et ∀y ∈ Rn .

Remarque 2 Une norme sur Rn est souvent noté ||.||.

Mohamed Hédi Riahi

1.4. NOTIONS TOPOLOGIQUES ASSOCIÉES À UNE NORME 3

||.|| : Rn → R+
x 7→ ||x||.

1. Exercice:
Montre que ∀x, y ∈ Rn on a

 
||x|| − ||y|| ≤ ||x + y||

2. Exemples des normes sur Rn : Pour tout x = (x1 , x2 , ..., xn ) ∈ Rn on a:

n
(a) ||x||1 = |xi |.
X

i=1
n
(b) ||x||2 = ( (xi )2 ) 2 .
1
X

i=1
(c) ||x||∞ = Sup(|x1 |, |x2 |, ..., |xn |).

3. Exercice: Pour n = 2, montrer que

||x||∞ ≤ ||x||2 ≤ ||x||1 ≤ 2||x||∞

Remarque 3 Dans Rn les normes ||x||1 , ||x||2 et ||x||∞ sont équivalentes. On peut
utiliser n'importe quelle norme.

1.4 Notions topologiques associées à une norme

Soit ||.|| une norme sur Rn :

1. Soit a = (a1 , ..., an ) ∈ Rn et r > 0. On dénit la boule ouverte de centre a et de rayon

r par:

B(a, r) = {x ∈ Rn tel que ||x − a|| < r}

2. Soit a = (a1 , ..., an ) ∈ Rn et r > 0. On dénit la boule fermé de centre a et de rayon

r par:

B(a, r) = {x ∈ Rn tel que ||x − a|| ≤ r}

Remarque 4 La représentation géométrique d'une boule (ouvert ou fermé) dépend de

la norme choisie dans Rn . Par exemple dans R2 la boule B(0, 0), 1) la boule ouverte
centrée en (0, 0) et de rayon 1 admet diérentes formes géométriques.

Mohamed Hédi Riahi

1.4. NOTIONS TOPOLOGIQUES ASSOCIÉES À UNE NORME 4

Figure 1.4.1: Représentation géométrique de B(0, 0), 1) .

Figure 1.4.2: Exemples sur R2 de partie bornée, avec la norme euclidienne.

3. Partie bornée de Rn :
Une partie X de Rn est dite bornée dans Rn SSi ∀x ∈ Rn , ∃k > 0 tel que ||x|| ≤ k.

4. Ouverts-Fermé de Rn :

(a) Une partie partie Ω de Rn est dite ouvert SSi ∀x ∈ Ω, ∃r > 0 telle que B(x, r) ⊂ Ω.

Figure 1.4.3: Exemples sur R2 de partie ouverte, avec la norme euclidienne..

Mohamed Hédi Riahi

1.4. NOTIONS TOPOLOGIQUES ASSOCIÉES À UNE NORME 5

(b) Une partie F de Rn est dite fermée de Rn si son complémentaire dans Rn est une
partie ouverte.
(c) Un ensemble V est un voisinage de x ∈ Rn s'il contient une boule ouverte non
vide de centre x.

Figure 1.4.4: Exemples sur R2 de voisinage V de x, avec la norme euclidienne.

(d) L'ensemble O = {(x, y) ∈ R2 , x > y} est ................................................................

..............................................
(e) L'ensemble F = {(x, y) ∈ R2 , x ≤ y} est un........................................................
.......................................................................

5. Suite dans Rn : Convergence Soit Un = (xn1 , xn2 , ..., xnn ), ∀n ∈ N, la suite (Un )n est une
suite d'éléments de Rn .

(a) On dit que (Un )n est convergente dans Rn vers l = (l1 , l2 , ..., ln ) ∈ Rn SSi
lim ||Un − l|| = 0
n→+∞
On note lim Un = l.
n→+∞

(b) Exemple:
1 1 2n + 1
Soit dans R3 la suite Un = ( , 1 − , ). Etudier la convergence de la suite
n n n
(Un ).

6. Compact de L'ensemble Rn :
Toute partie K de Rn non vide, fermée et bornée est dite compacte.
Exemple: Les pavés fermées [a1 , b1 ] × [a2 , b2 ] × ... × [an , bn ] de Rn est un comapcts de
Rn .

Mohamed Hédi Riahi

Chapter 2

FONCTION DE PLUSIEURS

VARIABLES

Sommaire
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Fonctions de plusieurs variables . . . . . . . . . . . . . . . . . . . 7
2.2.1 Dénition et exemples . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.2 Représentation graphique . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Limite d'une fonction de R dans R . . . . . . . . . . . . . . . . 10
n

2.3.1 Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.2 Exemples et applications . . . . . . . . . . . . . . . . . . . . . . . 11
2.4 Continuité d'une fonction de Rn dans R . . . . . . . . . . . . . . 12
2.4.1 Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Fonctions diérentiables . . . . . . . . . . . . . . . . . . . . . . . 13
2.5.1 Dérivées partielles, gradient et matrice jacobienne . . . . . . . . 13
2.5.2 Dérivée suivant un vecteur-Dérivée directionnelle . . . . . . . . . 16
2.5.3 Dérivées partielles d'ordre supérieur . . . . . . . . . . . . . . . . 17

6
2.1. INTRODUCTION 7

2.1 Introduction
Dans ce chapitre nous étudierons les fonctions qui dépendent de plusieurs variables. En eet,
dans les sciences appliquées telles que la physique, on cherche à modéliser des phénomènes
dépend de plusieurs paramètres. Ainsi l'étude théorique de ces fonctions de plusieurs vari-
ables trouvera un cadre applicatif dans de très nombreux domaines. A la n du cours,
l'étudiant doit avoir une bonne compréhension de l'analyse des fonctions de à plusieurs vari-
ables et devrait être en mesure d'appliquer ces connaissances pour résoudre des problèmes
exercices dans une variété de contextes.
En particulier, l'étudiant doit être capable de:

• Calculer les limites des fonctions de plusieurs variables.

• Etudier leurs continuités.

• Etudier leurs diérentiabilité.

• Calculer les dérivées partielles des fonctions.

• Comprendre ce qu'une dérivée suivant un vecteur est.

• Calculer les dérivées partielles d'ordre supérieur.

2.2 Fonctions de plusieurs variables

2.2.1 Dénition et exemples
[Link] Dénition
Une fonction rélle de plusieurs variables est une application dénie par:

f : D ⊂ Rn −→ R
X = (x1 , x2 , ..., xn ) 7−→ f (X) = f (x1 , x2 , ..., xn )

D: domaine de dénition de f .

Remarque 5 1. On s'intéresse parfois aux fonctions de n variables et à valeurs vecto-

rielles f : R → Rp . Pour x = (x1 , x2 , ..., xn ) ∈ Rn on a f (x) = (f1 (x), f2 (x), ..., fm (x)) ∈
n

Rp . Notons que chacune des fonctions fi est une fonction de n variables et à valeur
réelle. On dit que f est un champ de vecteurs à m composantes sur Rn .
p
2. On dénit les fonctions de D ⊂ R dans R , en remarquant que Df = où (fi )
\
n p
Dfi
i=1
sont les composantes de f .
3. Pour une fonction f : Rn → Rp , le calcul des limites, l'étude de la continuité et
la dérivabilité de f se ramènent au calcul des limites, l'étude de la continuité et la
dérivabilté de chaque composante. C'est pour cela, que dans la suite, on s'intéresse
aux fonctions de Rn dans R.

Mohamed Hédi Riahi

2.2. FONCTIONS DE PLUSIEURS VARIABLES 8

[Link] Exemples
1. Périmètre d'un rectangle en fonction de sa longeur x et sa largeur y :

f : D ⊂ R2 −→ R
X = (x, y) 7−→ f (X) = ......

D = ....

Figure 2.2.1: Rectangle .

2. Surface d'un rectangle en fonction de sa longeur x et sa largeur y :

f : D ⊂ R2 −→ R
X = (x, y) 7−→ f (X) = ......

D = ....
1
3. Le volume d'une cône est V = πr2 h. V dépend de deux paramètres: le rayon r et
3
l'hauteur h. On dénit une fonction mathématique dépend de deux variables r et h
par:
V : D ⊂ R2 −→ R
(r, h) 7−→ V (r, h) = ......

4. Exemple en physique:
Il est bien rare que les modèle mathématique choisi par les physicien ne depend que
d'un paramètre. Par exemple en thermodynamique, lorsque l'on considère une énergie,
on est souvent amené à étudier l'inuence de paramètres T (température), P (pres-
sion) et V (volume).
On donne la loi des gaz parfaits:

P V = nRT .

Mohamed Hédi Riahi

2.2. FONCTIONS DE PLUSIEURS VARIABLES 9

Figure 2.2.2: Cône .

n désigne la quantité de matière contenue dans un volume V et R désigne la constante

de gaz parfait.
On suppose que le volume du système physique varie en même temps que la tempéra-
ture. L'équation d'état càd la relation entre les paramètres d'état d'un système en
équilibre macroscopique est:

f (P, V, T ) = 0
avec

f : D ⊂ R3 −→ R
(P, V, T ) 7−→ (P, V, T ) = ......

2.2.2 Représentation graphique

1. Une fonction d'une variable dénie sur un domaine D ⊂ R et à valeurs réelles est
décrite par son graphe. qui est le sous ensemble de R2 déni par:

Gf = {(x, f (x)) ∈ R2 ; x ∈ D},

et que l'on représente par la courbe du plan d'équation y = f (x).

2. Pour une fonction de deux variables dénie sur un domaine D ⊂ R2 et à valeurs réelles
on dénit de même le graphe par:

Gf = {(x, y, f (x, y)) ∈ R3 ; (x, y) ∈ D},

que l'on peut représenter comme surface d'équation z = f (x, y) dans l'éspace à 3
dimensions. Soit l'exemple de f (x, y) = x2 − y 2 .

Mohamed Hédi Riahi

2.3. LIMITE D'UNE FONCTION DE RN DANS R 10

Figure 2.2.3: Représentation géométrique de f (x, y) .

3. La notion de graphe s'étend au cas des fonction de n ≥ 3 variables.

On appelle graphe d'une fonction f de n variable dénie sur un domaine D ⊂ Rn et à
valeurs réelles, l'ensemble des points ((x1 , x2 , ..., xn ), f (x1 , x2 , ..., xn )) ∈ Rn . le graphe
de f est noté:

Gf = {(x1 , x2 , ..., xn , f (x1 , x2 , ..., xn ); x = (x1 , x2 , ..., xn ) ∈ D ⊂ Rn }.

Remarque 6 Il n'existe acune méthode évidente pour représenter géométriquement

une fonction numérique dénie sur une partie D de Rn , n ≥ 3.

4. Soit f : D ⊂ Rn −→ R. Pour tout réel λ ∈ R, on appelle courbe de niveau λ de la

fonction f , l'ensemble Cλ des points deRn dont l'image de f vaut λ, c'est à dire:

Cλ = {x = (x1 , x2 , ..., xn ) ∈ D; f (x) = f (x1 , x2 , ..., xn ) = λ}.

Exercice:
Pour chacune des fonctions suivantes, déterminer son domaine de dénition:
1. f (x, y) = (1 − x2 )(1 − y 2 ).
p

s
y2
2. f (x, y) =
2y − x2

2.3 Limite d'une fonction de Rn dans R

2.3.1 Dénition
Soit f une fonction dénie sur une partie D de Rn à valeurs dans R, dénie au voisinage
d'un point a = (a1 , a2 , ..., an ). L'ensemble Rn est muni d'une norme quelconque ||.|| des
normes dénies sur Rn car celles-ci sont équivalentes. Dans la suite si acune précision n'est
donnée, ||.|| désigne l'une quelconque des trois normes connues ||.||1 , ||.||2 et ||.||∞ .

Mohamed Hédi Riahi

2.3. LIMITE D'UNE FONCTION DE RN DANS R 11

1. On dit que f tend vers 0 en a = (a1 , a2 , ..., an ) si:

∀ε > 0, ∃η > 0 telle que ∀X = (x1 , x2 , ..., xn ) ∈ D, ||X − a|| ≤ η alors |f (X)| ≤ ε.

On note lim f (X) = 0.

X→a

2. Soit l ∈ R. On dit que f a pour limite l en a si f −l tend vers 0. On note lim f (X) = l
X→a

Remarque 7 Si une fonction admet une limite en un point alors cette limite est unique.

2.3.2 Exemples et applications

1. Soit f : R2 \ {(0, 0)} → R dénie par:

3x2 + xy
f (x, y) = p .
x2 + y 2

(a) Montrer que |xy| ≤ 21 (x2 + y 2 ).

(b) Montrer que |f (x, y)| ≤ 4||(x, y)||2 .
(c) Deduire alors lim f (x, y).
(x,y)→(0,0)

xy
2. Soit f : R2 \ {(0, 0)} → R dénie par: f (x, y) =
x2 + y 2
(a) Calculer lim f (t, t).
t→0
(b) Calculer lim f (t, 2t).
t→0
(c) Déduire lim f (x, y).
(x,y)→(0,0)

3. Soit f : R2 → R dénie par f (x, y). Pour calculer lim f (x, y) on peut utiliser
(x,y)→(a1 ,a2 )
le changement de variables en coordonnées polaires:

 x = r cos(θ)


y = r sin(θ) (2.3.1)

 r > 0, θ ∈ [0, 2π].


x3 y
(a) Calculer lim .
(x,y)→(0,0) x2 + y 2
xy
(b) Calculer lim .
(x,y)→(0,0) x + y 2
2

Remarque 8 Les opérations algébriques sur les limites concernant sommes, diérences,
produits, quotients et compositions sont les mêmes que celles utilisées dans le cas des fonc-
tions d'une variable rélle.

Mohamed Hédi Riahi

2.4. CONTINUITÉ D'UNE FONCTION DE RN DANS R 12

2.4 Continuité d'une fonction de Rn dans R

2.4.1 Dénition
Soit f une fonction dénie au voisinage d'un point a = (a1 , a2 , ..., an ) à valeurs dans R.

1. On dit que f est continue au point a = (a1 , a2 , ..., an ) si

lim f (x) = f (a),

x→a
x = (x1 , x2 , ..., xn ).

C'est à dire si

∀ε > 0, ∃η > 0 telle que ∀x = (x1 , x2 , ..., xn ) ∈ D, ||x − a|| ≤ η alors |f (x) − f (a)| ≤ ε.

2. Une fonction f est continue sur un ensemble D ⊂ Rn si elle est continue en tout point
de cet ensemble.

3. Exemple: Soit la fonction Pi : Rn −→ R, i = 1, ..., n dénie par:

Pi (x) = Pi (x1 , x2 , ..., xn ) = xi

Montrer que la fonction Pi est continue en tout point a = (a1 , ...., an ) ∈ Rn . la fonction
Pi est appelée fonction projection.

Théorème 1 Soit f une fonction dénie au voisinage d'un point a = (a1 , a2 , ..., an ) ∈ Rn
à valeurs dans R. Supposons que f est continue au point a et dénisons les fonctions réelles
g1 , ..., gn à une variable rélle par:

g1 : t 7−→ f (t, a2 , a3 , ..., an )

g2 : t 7−→ f (a1 , t, a3 , ..., an )
................................................
................................................
gn : t 7−→ f (a1 , a2 , a3 , ..., an−1 , t).

Pour tout i = 1, ..., n la fonction gi qui est dénie au voisinage de ai est continue au point
ai .

Remarque 9 Est ce la réciproque du théorème est vraie?

Exercice:
Soit f : R2 → R la fonction dénie par:
 xy
 si (x, y) 6= (0, 0)
f (x, y) = x2 + y2 (2.4.1)
 0 si (x, y) = (0, 0)

Mohamed Hédi Riahi

2.5. FONCTIONS DIFFÉRENTIABLES 13

1. Calculer g1 et g2 au point a = (a1 , a2 ) = (0, 0) et étudier leur continuité sur en 0.

2. Etudier la continuité de f en (0, 0).

3. Conclure.

Théorème 2 Soit f une fonction dénie sur une partie D ⊂ Rn à valeurs dans R et
a = (a1 , ..., an ) ∈ D.
La fonction f est continue en a SSi pour toute suite (yk )k∈N d'élément
de D telles que lim yk = a on a lim f (yk ) = f (a)
k→+∞ k→+∞

Application:
Soit f : R2 → R la fonction dénie par:
 sin( 1 ) si (x, y) 6= (0, 0)


f (x, y) = x2 + y 2 (2.4.2)

0 si (x, y) = (0, 0)
1 1
1. Soit la suite yn = ( , ) calculer lim f (yn ).
n n n→+∞

2. Etudier la continuité de f sur R2 .

Remarque 10 Les opérations algébriques sur les fonctions continues concernant sommes,
diérences, produits, quotients et compositions sont les mêmes que celle utilisées dans le cas
des fonctions d'une seul variable réelle.

Exercice:

1. La fonction f dénie sur R2 par:

xy
f (x, y) = p
2 2
si (x, y) 6= (0, 0) et f (0, 0) = 0 est elle continue en (0, 0).
x +y
2. La fonction f dénie sur R2 par:
x+y
f (x, y) = p
2 2
si (x, y) 6= (0, 0) et f (0, 0) = 0 est elle continue en (0, 0).
x +y
3. La fonction f dénie sur R2 par:
xy
f (x, y) = 2 2
si (x, y) 6= (0, 0) et f (0, 0) = 0 est elle continue en (0, 0).
x +y

2.5 Fonctions diérentiables

2.5.1 Dérivées partielles, gradient et matrice jacobienne
Dérivées partielles:
Soit f une fonction dénie au voisinage d'un point a = (a1 , ..., an ) ∈ Rn à valeurs dans R.
Pour δ > 0 assez petit et pour i xé dans {1, .., n}. On dénie par gi la fonction réelle,
dénie par:

gi :]ai − δ, ai + δ[→ R
t 7−→ gi (t) = f (a1 , a2 , ..., ai−1 , t, ai+1 , ..., an ).

Mohamed Hédi Riahi

2.5. FONCTIONS DIFFÉRENTIABLES 14

1. On dit que f admet une dérivée par rapport à la i-ième variable au point a si la
fonction gi est dérivable au point ai .

2. On appelle dérivée partielle de f par rapport à la i-ième variable, au point a le nombre

∂f
noté (a) déni par:
∂xi

∂f 0
(a) = g (ai ) =
∂xi
f (a1 , a2 , ..., ai−1 , ai + h, ai+1 , ..., an ) − f (a1 , a2 , ..., ai−1 , ai , ai+1 , ..., an )
lim .
h→0 h

∂f
Remarque 11 Le calcul de consiste à ne dériver l'expression de f que par rapport à
∂xi
∂f
xi .Les fonctions dérivées partielle sont aussi des fonctions de n variables à valeurs
∂xi
dans R.

Exemples

1. On considère la fonction g : R2 → R dénie par:

∀(x, y) ∈ R2 , g(x, y) = x2 + y 2 + xy .

Calculer les dérivées partielles de g par rapport aux variable x et y en tout point
(x, y) ∈ R2

2. On considère la fonctionf : R3 → R dénie par:

f (x, y, z) = x2 + y 2 + z 2 − xy − xz − yz

. Calculer les dérivées partielles de f par rapport aux variable x, y et z .

Théorème 3 Soit f : D ⊂ Rn −→ R et a = (a1 , ..., an ) ∈ D un point de D, avec D un

ouvert de non vide de Rn . f est diérentiable en a, elle admet en a des dérivées partielles
par rapport à toutes les variables et on a:

∂f
(a) = Df (a)(ei ), i = 1, ..., n,
∂xi
n
∂f
(a)hi , ∀h = (h1 , ..., hn ).
X
Df (a)(h) =
i=1
∂xi

(e1 , ..., en ) étant la base canonique de Rn .

Exemple:
Soit la fonction f : R2 → R, dénie par f (x, y) = x sin(xy) + y cos(xy).

1. Montrer que f admet des dérivées partielles par rapport aux variables x et y en tout
point de R2 .

Mohamed Hédi Riahi

2.5. FONCTIONS DIFFÉRENTIABLES 15

∂f ∂f
2. Calculer et en tout point (x, y) ∈ R2 .
∂x ∂y
3. Déduire Df (x, y)(h1 , h2 ) pour tout (h1 , h2 ) ∈ R2 .
Gradient et matrice jacobienne:

1. Si f est une fonctiion de D ⊂ Rn dans : R admettant des dérivées partielles en

a = (a1 , ..., an ). on appelle gradient de f en a le vecteur de Rn noté gradf (a) ou
∇f (a) déni par:

∂f ∂f ∂f
gradf (a) = ( (a))1≤i≤n = ( (a), ..., (a))
∂xi ∂x1 ∂xn

2. on appelle matrice jacobienne de f en a la matrice à 1 lignes et n colonnes notée Jf (a)

dénie par:

∂f ∂f ∂f
Jf (a) = ( (a))t1≤i≤n = ( (a), ..., (a))t
∂xi ∂x1 ∂xn
Remarque 12 Avec les deux notions précédentes, les diérentielles peuvent être écrites sous
la forme:
Df (a)(h) =< gradf (a), h > et DF (a)(h) = JF (a)h, ∀h = (h1 , ..., hn ) ∈ Rn .
Où le symbole < ., . > désigne le produit scalaire euclidien de Rn .
Théorème 4 Soit f : D ⊂ Rn → R. On dit que f est de classe C 1 sur D et ses dérivées par-
∂f
tielles (x) , i = 1, .., n existent en tout point x de D et si les fonctions dérivées partielles:
∂xi
∂f
: D ⊂ Rn −→ R
∂xi
∂f
x 7−→ (x)
∂xi
sont continues.
Exemples:

1. Montrer que la fonction f (x, y) = ln(x2 + y 2 + 1) est de classe C 1 sur R2 .

2. Considérons la fonction f : R2 → R dénie par:

 x2 y sin( 1 ) si x 6= 0
f (x, y) = x (2.5.1)
 0 si x=0
Montrer que f n'est pas de classe C 1 sur R2 .

Théorème 5 Soit f : D ⊂ Rn → R. Si f est de classe C 1 sur D alors f est diérentiable

sur D.

Mohamed Hédi Riahi

2.5. FONCTIONS DIFFÉRENTIABLES 16

Est ce la réciproque du théorème est vraie?

Exemples:
Considérons la fonction f : R2 → R dénie par:

 x2 y sin( 1 ) si x 6= 0
f (x, y) = x (2.5.2)
 0 si x = 0
On a vu que f n'est pas de classe C 1 sur R2 . Pour E = {(0, y) ∈ mathbbR2 , y ∈ R}.

1. Montrer que f est de classe C 1 sur R2 \ E .

2. Montrer que f est diérentiable sur E .

3. Conclure.

2.5.2 Dérivée suivant un vecteur-Dérivée directionnelle

Soit f : D ⊂ Rn −→ R, a = (a1 , ..., an ) ∈ D et h = (h1 , ..., hn ) ∈ Rn , avec D un ouvert de
non vide de Rn . On dénie la fonction ϕ : R → R par:

ϕ(t) = f (a + th).

1. On dit que f admet une dérivée en a suivant le vecteur h si la fonction ϕ est dérivable
en 0. Dans ce cas ϕ (0) s'appelle dérivée de f en a suivant le vecteur h et on note
0

dh f (a) qui donnée par:

ϕ(t) − ϕ(0) f (a + th) − f (a)

dh f (a) = lim = lim .
t→0 t t→0 t

2. La dérivée de f en a suivant le vecteur h mesure les variations de f lorsqu'on se déplace

autour de a dans la direction du vecteur h.

3. Théorème 6 Si f est diérentiable en a alors elle admet en a une dérivée suivant

n'importe que direction h non nul et on a:

Df (a)(h) = dh f (a).

∂f
4. Remarque 13 On a pour i = {1, ..., n}, (a) correspond à la dérivée en a suivant
∂xi
le vecteur de la base canonique ei = (0, ...., 0, 1, 0, ..., 0):

∂f
(a) = Df (a)(ei ) = dei f (a)
∂xi

Mohamed Hédi Riahi

2.5. FONCTIONS DIFFÉRENTIABLES 17

Question: Est ce que la reciproque du théorème 6 est varie?

Exemple:
Soit f : R2 → R dénie par:
2
 sin( x y ) si (x, y) 6= (0, 0)


f (x, y) = x2 + y 2 (2.5.3)
0 si (x, y) = (0, 0)


1. Montre que f admet une dérivée suivant tout vecteur h = (h1 , h2 ) 6= (0, 0).

2. Montrer que f n'est pas diérentiable en (0, 0).

3. Conclure.

2.5.3 Dérivées partielles d'ordre supérieur

Soit f : D ⊂ Rn −→ R et a = (a1 , ..., an ) ∈ D un point de D, avec D un ouvert de non vide
∂f
de Rn . Supposons que f admet sur D une dérivée partielle .
∂xi
1. Dénition:
∂f
Si la fonction : D → R une dérivée partielle par rapport à la j -ième variable au
∂xi
∂ ∂f ∂ ∂f
point a noté . On dit que (a) est une dérivée partielle d'ordre 2 au
∂xj ∂xi ∂xj ∂xi
point a par rapport à la i-ième et j -ième variables prises dans cette ordre.

2. Exemple:
Soit f : R2 → R la fonction dénie par:
x3 y

 si (x, y) 6= (0, 0)
f (x, y) = x2 + y 2
0 si (x, y) = (0, 0)


(a) Calculer
si (x, y) 6= (0, 0)
(
∂f .....................
(x, y) =
∂x ...................... si (x, y) = (0, 0)

si (x, y) 6= (0, 0)
(
∂f .....................
(x, y) =
∂y ...................... si (x, y) = (0, 0)

(b) Calculer

∂2f
(0, 0) = ......................
∂x∂y
∂2f
(0, 0) = .......................
∂y∂x
Remarque 14 A partir des dérivées partielles d'ordre 2, on dénit les dérivées partielles
d'ordre 3 lorsqu'elles existent. De proche en proche, on dénit les dérivées partielle d'ordre
k lorsqu'elles existe.

Mohamed Hédi Riahi

2.5. FONCTIONS DIFFÉRENTIABLES 18

Remarque 15 La dérivée partielle d'ordre k de f au point a par rapport aux variables

∂kf
xik ,....,xi1 prises dans cet ordre est noté (a).
∂xi1 ...∂xik

Exercice
Cherhcer les dérivées partielle d'ordre 3 de la fonction f : R2 → R dénie par:

f (x, y) = x + y − x2 y 3 .

1. Les dérivées partielle d'ordre 1 de f sont:

..........................................................................................................

2. Les dérivées partielle d'ordre 2 de f sont:

..........................................................................................................
..........................................................................................................

3. Les dérivées partielle d'ordre 3 de f sont:

..........................................................................................................
..........................................................................................................

Dénition:
Soit f : D ⊂ Rn → R, k ∈ N∗ . On dit que f est de classe C k sur D et on écrit que f ∈ C k (D)
si toutes ses dérivées partielle jusqu'à l'ordre k existent et sont continues sur D.

Théorème 7 Soit V un ouvert non vide de R2 , a = (a1 , a2 ) ∈ V et f : V → R une fonction

∂2f ∂2f
telle que et existent sur V et sont continues au point a. Alors:
∂x∂y ∂y∂x
∂2f ∂2f
(a) = (a)
∂x∂y ∂y∂x
Une généralisation de ce théorème est:
∂2f ∂2f
Théorème 8 Soit D un ouvert non vide de Rn , a ∈ D et f : D → R. Si et
∂xi ∂xj ∂xj ∂xi
existent au voisinage de a et sont continues en a alors:
∂2f ∂2f
(a) = (a)
∂xi ∂xj ∂xj ∂xi

Remarque 16 Si f est de classe C 2 sur un ouvert D ⊂ Rn , on a alors en tout point de D:

∂2f ∂2f
=
∂xi ∂xj ∂xj ∂xi

Dénition
Soit D un ouvert non vide de Rn , a ∈ D et f : D → R deux fois diérentiable sur D. On
dénit la matrice hessienne Hf ∈ Mn (R) de f par:

Mohamed Hédi Riahi

2.5. FONCTIONS DIFFÉRENTIABLES 19

∂2f ∂2f ∂2f

 
...
 ∂x21 ∂x1 ∂x2 ∂x1 ∂xn 
∂2f ∂2f ∂2f
 
 
 ... 
 ∂x2 ∂x1 ∂x22 ∂x2 ∂xn 
Hf = 
 
 . . ... . 

 

 . . ... . 

2 2 2
 ∂ f ∂ f ∂ f 
...
∂xn ∂x1 ∂xn ∂x2 ∂x2n
Application: Soit f : R3 → R dénie par f (x, y, z) = 2(xy + yz + xz). Déterminer la
matrice hessienne de f en tout point (x, y, z) ∈ R3 .
...............................................................
...............................................................
...............................................................
...............................................................
Exercice:
On considère la fonction f dénie sur R2 par:
 3 3
 x y − xy si (x, y) 6= (0, 0)
f (x, y) = x2 + y 2
0 si (x, y) = (0, 0)


1. Etudier la continuité de f sur R2 .

∂f ∂f
2. Déterminer les dérivées partielles (0, 0) et (0, 0).
∂x ∂y
∂f ∂f
3. Calculer et sur R2 \{(0, 0)}.
∂x ∂y
4. la fonction f est-elle diérentiable en (0, 0).

5. La fonction f est-elle de classe C 1 sur R2 .

6. Etudier l'existence les dérivées partielles d'ordre 2 en (0, 0).

7. Est-ce que f est de classe C 2 sur R2 .

Mohamed Hédi Riahi

Chapter 3

Optimisation des fonctions de

plusieurs variables

Sommaire
3.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.1 Notions sur la convexité . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.2 Exemples de problèmes d'optimisation . . . . . . . . . . . . . . . 23
3.2 Résultats d'existence et d'unicité . . . . . . . . . . . . . . . . . . 24
3.2.1 Existence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.2 Unicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3 Optimisation sans contrainte . . . . . . . . . . . . . . . . . . . . 26
3.3.1 Condition d'optimalité du premier ordre . . . . . . . . . . . . . . 26
3.3.2 Condition d'optimalité du second ordre . . . . . . . . . . . . . . 27
3.4 Optimisation avec contrainte . . . . . . . . . . . . . . . . . . . . 28
3.4.1 Contraintes en égalité . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4.2 Contraintes en égalité et en inégalité . . . . . . . . . . . . . . . . 30

20
3.1. MOTIVATIONS 21

3.1 Motivations
La forme générale d'un problème d'optimisation est la suivante:

 minX∈Rn f (X)


(PC = sous les contraintes (3.1.1)

 h(X) = 0g(X) ≤ 0


avec f, g eth : Rn −→ R telle que:

1. f est la fonction objectif (coût).

2. h(X) = 0 contraintes d'égalité.

3. g(X) ≤ 0 contraintes d'inégalité.

Objectif: Présenter des technique permettant de résoudre le problème PC .

Remarque 17 1. Si dans le problème PC ont n'a pas de contarintes alors on appelle

problème d'optimisation sans contraintes et on note P .
2. Si dans le problème PC ont n'a pas de contarintes d'ingégalité alors on appelle problème
d'optimisation avec contraintes d'égalité et on note P .
3. Si dans le problème PCE ont n'a pas de contarintes d'égalité alors on appelle problème
d'optimisation avec contraintes d'inégalité et on note PCI .
4. Il va de soi que la plupart des problèmes réels ou industriels ne sont pas initialement
sous une des formes proposées: Il faut mettre le problème initial sous une forme stan-
dard.

3.1.1 Notions sur la convexité

[Link] Ensemble convexe
La convexité est à la base une propriété géométrique assez intuitive d'ailleurs, qui permet
de caractériser certains objets. Dans un espace à deux ou trois dimensions on voit bien ce
qu'est un objet convexe.
Dénition:
Un ensemble K ⊂ Rn est dit convexe si pour tout couple (x, y) ∈ K2 et ∀λ ∈ [0, 1]

[x, y] = {λx + (1 − λ)y ∀λ ∈ [0, 1]} ∈ K.

⇒ le segment reliant x et y doit être dans K.

n
Remarque 18 Soit une famille (Ki )i=1,...,n d'ensembles convexe et S = Ki . Alors S est
\

un convexe.
i=1

Mohamed Hédi Riahi

3.1. MOTIVATIONS 22

Figure 3.1.1: Ensemble convexe.

[Link] Fonction convexe

Dénition:
On dit que f : K ⊂ Rn −→ R dénie sur un ensemble K convexe est convexe si elle vérie:

∀(x, y) ∈ R2 , ∀λ ∈ [0, 1], f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y).

On dira que f est strictement convexe si

∀(x, y) ∈ R2 , ∀λ ∈ [0, 1], f (λx + (1 − λ)y) < λf (x) + (1 − λ)f (y).

Remarque 19 Si on travaille dans R: f est convexe ⇐⇒ le graphe de la fonction f est

toujours en dessous du segment reliant les points (x, f (x)) et (y, f (y)).

Figure 3.1.2: fonction convexe.

Théorème 9 Caractéristaion de la convexité

Soit f : K ⊂ Rn −→ R dénie sur un ensemble K convexe deux fois diérentiable alors: f

est convexe SSi ∇2 f (x) = Hess(f, x) est positive ∀x ∈ K.

Exercice:
1
Soit f (x) = < Ax, x > − < b, x > avec A ∈ Mn (R), x ∈ Rn et b ∈ Rn .
2
montrer que f est convexe SSi A est positive.

Mohamed Hédi Riahi

3.1. MOTIVATIONS 23

3.1.2 Exemples de problèmes d'optimisation

1. Minimisation des coûts dans la fabrication de boites cylindriques
Dans la fabrication de boites de conserve cylindriques on minimise les coûts de matière
première en cherchant le cylindre de surface minimale à volume constant égal à k.
Considérons un cylindre, donné par sa hauteur h et le rayon r de sa base.

Figure 3.1.3: boite cylindrique.

(a) Le volume de la cylindre est Vc (r, h) = ......... = constant.

(b) L'aire de la cylindre est Ac (r, h) = ...............

Le problème d'optimisation s'écrit:



 min Ac (r, h)

 r,h∈R2

Vc (r, h) − k = 0

(3.1.2)



 r≥0

 h≥0

2. Une entreprise fabrique deux modèles de petites voitures. les modèles X et Y . Le

modèles X , le plus abordable, se vent à 1euro pièce. Quand au modèle Y , beaucoup
plus sophistiqué, il se vend à 3euro. Le coût de fabrication, exprimer en euro, est
donné par la fonction suivante:

J(x, y) = 5x2 + 5y 2 − 2xy − 2x − 1000.

où x est le nombre de petites voitures du modèle X et y est le nombre de petites

voitures du modèle Y . On suppose que les jouets fabriqués sont écoulés sur le marché.

(a) Soit (x, y) ∈ (R∗+ )2 . Le prot P (x, y) réalisé par l'entreprise lorsqu'elle a vendu
x jouets de modèle X et y jouets de modèle Y est:

P (x, y) = .........................................

(b) La capacité de production de l'entreprise est au total de 20 jouets par jour. En

supposant que l'entreprise tourne à plein régime, trouver la répartition optimale
entre les modèles de types X et Y permettant de maximiser le prot quotidien.

Mohamed Hédi Riahi

3.2. RÉSULTATS D'EXISTENCE ET D'UNICITÉ 24

Cette contrainte se traduit par:

h(x, y) − 20 = .................

Le prot réalisé est la solution du problème d'optimisation:


 max P (x, y)
(P) 2
x,y∈R (3.1.3)
 h(x, y) − 20 = 0

(c) Le conseil d'administration de l'entreprise s'interroge sur la pertinence de vouloir

produire à pleine capacité. Il se demande s'il ne peut pas augmenter le prot en
produisant autrement. Pouvez-vous aider le conseil d'administration?

3.2 Résultats d'existence et d'unicité

Considérons notre problème d'optimisation:

(P) min f (x), K ⊂ Rn .

x∈K

Les contraintes sous la forme x ∈ K ⊂ Rn .

Avant de donner les résultats généraux d'éxistence d'une solution de problème (P), on a
besoin de dénir:
Dénition:

1. Un ensemble K ⊂ Rn est dit comapct si de toute suite (xk )k∈N ou ∀k ∈ N, xk ∈ K on

peut extraire une sous suite convergente.

2. En pratique: Un ensemble K ⊂ Rn est compact SSi il est fermé et borné.

3. Exemple: L'ensemble K = {(x, y) ∈ R2 tel que x2 + y 2 ≤ 1} est un compact.

3.2.1 Existence
Théorème 10 Si f : K ⊂ Rn −→ R est continue et si de plus K est un ensemble compact,
alors (P) admet une solution xe ∈ K qui vérie

x) ≤ f (x)
f (e ∀x ∈ K

Exemple:
On considère la fonction f dénie sur R2 par:

f (x, y) = x2 + y 2 + xy .

Mohamed Hédi Riahi

3.2. RÉSULTATS D'EXISTENCE ET D'UNICITÉ 25

On note D = {(x, y) ∈ R2 , x2 + y 2 ≤ 1 et x + y ≥ 1}

1. Représenter graphiquement le domaine D et montrer que D est un compact.

2. Montrer que le problème:

(P) min f (x, y)

(x,y)∈D

posséde au moins une solution solution.

Théorème 11 Soit f : Rn −→ R est continue sur Rn . Si lim f (x) = +∞ (f coercive).

||x||→+∞
Alors le problème (P) minx∈Rn f (x) admet une solution optimale xe.

Exemple
On considère la fonction g : R2 → R dénie par:

∀(x, y) ∈ R2 , g(x, y) = x2 + y 2 + xy
x+y 1 1
1. Montrer que g(x, y) = ( √ ) + x2 + x2 .
2 2 2
2. Montrer que lim g(x, y) = +∞.
||(x,y)||→+∞

3. Déduire que le problème

(P) min g(x, y),

(x,y)∈R2

admet une solution.

3.2.2 Unicité
L'unicité résulte en général de propriétés de convexité.

Théorème 12 Soit f : K ⊂ Rn −→ R strictement convexe sur K convexe. Le minimum de

f sur K s'il existe, est unique.
Exemple
Soient A ∈ M3 et b ∈ R3 dénie par:

   
3 −1 −1 1
, et b =  1 .
   
A=
 −1 3 −1   
−1 −1 3 1

Soit J : R3 → R l'application dénie par:

Mohamed Hédi Riahi

3.3. OPTIMISATION SANS CONTRAINTE 26

 
x
1
< AX, X > − < b, X >, ∀X =  .
 
J(X) = y 
2 
z

1. Montrer que J est strictement convexe sur R3 et lim J(X) = +∞

||X||→+∞

2. On considère le problème d'optimisation

(P1 ) min J(X), où K1 = R3

X∈K1

Expliquer pourquoi le problème (P1 ) admet une unique solution.

3.3 Optimisation sans contrainte

3.3.1 Condition d'optimalité du premier ordre
Condition nécessaire du premier ordre

Théorème 13 Soit f : Rn −→ R une fonction diérentiable sur Rn et xe vériant f (e

x) ≤
f (x), ∀x ∈ Rn alors on a nécessairement:

x) = 0Rn .
∇f (e

Dénition
Un point x∗ de Rn vériant ∇f (x∗ ) = 0Rn est appelé point critique. La relation ∇f (x∗ ) =
0Rn est appelée équation d'Euler.

Remarque 20 1. Ce théorème n'a pas de sens si la fonction n'est pas dierentiable.

2. On constate que la condition nécessaire du premier ordre permet de sélectionner un
certain nombre de candidats à être des minima globaux.
3. La réciproque de théorème est fausse: un point critique n'est pas nécessairement un
minimum global. ce peut-être un minimum local, maximum local ou ni l'un, ni l'autre.

Exemple:
Condition nécessaire et susantes

Théorème 14 Soit f : Rn −→ R une fonction convexe et diérentiable sur Rn . Si xe vérie

∇f (e
x) = 0Rn alors f (ex) ≤ f (x), ∀x ∈ Rn .
Lorsque la fonction n'est pas convexe, on ne peut donner qu'une condition nécessaire et
susante d'optimalité locale de f .

Mohamed Hédi Riahi

3.3. OPTIMISATION SANS CONTRAINTE 27

Figure 3.3.1: Type de point critique.

3.3.2 Condition d'optimalité du second ordre

Si f est deux fois diérentiable alors:
Théorème 15 Soit f : Rn −→ R une fonction deux fois diérentiable sur Rn . Si
(
∇f (e
x) = 0Rn ,
(3.3.1)
x)dénie
e) = ∇2 f (e
Hess(f, x positive.
Alors xe est un minimum local de f
Rappel On dit qu'une matrice A ∈ Mn (R) est dénie positive si ∀x ∈ Rn \ 0Rn on a
< Ax, x >> 0. En pratique A est dénie positive SSi toutes les valeurs propre de A sont
strictement positive.
Remarque 21 Pour des maximum locaux, on obtient le même type de caractérisation et la
matrice hessienne sera dénie négative.
1. Soit f : Rn −→ R. Si au point critique xe càd ∇f (e
x) = 0Rn , Si la matrice Hessienne
de f au point xe on note Hess(f, xe) = ∇ f (e
2
x) admet des valeurs propres positives et
négative alors xe est un point selle.
(a) Soit f (x, y) = xy dénie sur R2 déterminer les points critiques et leurs natures.
...............................................................................................................
...............................................................................................................
...............................................................................................................
...............................................................................................................
(b) Déterminer s'il existe les points critiques et leurs types ( minimum local, maxi-
mum local ou point selle) des fonctions suivantes:
i. f (x, y) = x4 − 2x2 + y 2 .
ii. f (x, y, z) = x2 + y 2 + 2xz + 2yz + 4y .
2. Soit f : Rn −→ R. Si au point critique xe càd ∇f (e
x) = 0Rn , la matrice hessienne admet
une valeur propre nulle càd det(∇ f (e
2
x)) = 0. alors on ne peut pas conclure, il faut
faire une étude adoptée.
Exemple

Mohamed Hédi Riahi

3.4. OPTIMISATION AVEC CONTRAINTE 28

(a) Soit f (x, y) = x3 + y 3 dénie sur R2 .

i. Calculer ∇f (x, y) et ∇2 f (x, y).
ii. Montrer que (0, 0) est un point critique de f , calculer ∇2 f (0, 0) et déduire
qu'on ne peut pas conclure sur le type de (0, 0).
iii. Calculer f (x, x) et déduire que (0, 0) est un point selle.

Exercice :
On considère la fonction f dénie sur R3 par:

f (x, y, z) = x2 + y 2 + z 2 − 2x − 2y + 1.

1. Montrer que f est coercive.

2. Montrer que la fonction f est strictement convexe sur R3 .

3. Déduire que le problème

(P) min f (x, y, z),

(x,y,z)∈R3

admet une unique solution.

4. Résoudre le problème (P).

3.4 Optimisation avec contrainte

Dans cette partie on s'intéresse au cas où le problème de minimisation comporte des con-
traintes. Plus précisément on se donne un sous ensemble C non vide, fermé de Rn et on
étudie le problème:

(P) min J(x).

x∈C

C est l'ensemble des contraintes.

Remarque 22 Nous traiterons plus particulièrement le cas où C est déni par des égalités
et des inégalités:

C = {x ∈ Rn tel que h(x) = 0, g(x) ≤ 0}

• h : Rn −→ R représente la contrainte en égalité; h est supposée continue.

• g : Rn −→ R représente la contrainte en inégalité; g est supposée continue.
• dans ce cas C est un ensemble fermé.

Mohamed Hédi Riahi

3.4. OPTIMISATION AVEC CONTRAINTE 29

Exemple
On considère les sous-ensembles de R2 suivantes:

1. A = {(x, y) ∈ R2 tel que x2 + y 2 ≤ 1 et x + y ≤ 1}.

2. B = {(x, y) ∈ R2 tel que x2 + y 2 < 1}.

3. C = {(x, y) ∈ R2 tel que x ≥ 0 ou y ≥ 0}.

Représenter graphiquement chacun de ces ensembles et dire s'il est convexe, fermé et borné.

3.4.1 Contraintes en égalité

Le problème (P) se réduit à:

min J(x).
x∈C

avec C = {x ∈ Rn tel que h1 (x) = 0, ..., hp (x) = 0} Les fonctions h1 ,...,hp sont continue
de Rn dans R.
Condition nécessaire du premier ordre-contraintes en égalité

Théorème 16 On suppose que:

• J , h1 ,.... et hp sont de classe C 1 sur Rn .

• Le problème (P) a une solution x∗ .
• Les p vecteurs de Rn : (∇h1 (x∗ ), ..., ∇hp (x∗ ) sont linéairement indépendants.
Alors il existe p réels (λ∗1 , ..., λ∗p ) tels que:

p
λ∗j ∇hj (x∗ ) = 0Rn .
X
∇J(x∗ ) +
j=1

Remarque 23 Les réels λ∗j obtenus par le théorème précédent sont appelés multiplicateurs
de Lagrange.

Exemple
Soit le problème (P) :

min J(x, y).

(x,y)∈C

avec:

• J(x, y) = 5x2 + 5y 2 − 2xy − 3x − 3y − 1000

• C = {(x, y) ∈ R2 tel que x + y − 20 = 0}

Mohamed Hédi Riahi

3.4. OPTIMISATION AVEC CONTRAINTE 30

Le problème est un problème d'optimisation sous contraintes d'égalité avec h(x, y) = x +

y − 20.
J et h sont de classe C 1 On a J est strictement convexe et l'ensemble C est un fermé. Le
problème (P) a une solution.
En utilisant la condition nécessaire du premier ordre-contraintes en égalité, résoudre le prob-
lème (P):
On a ∇h(x, y) 6= 0R2 . alors il existe λ ∈ R tel que:

∇J(x, y) + λ∇h(x, y) = 0R2 .

ainsi on obtient: 
 10x − 2y − 3 + λ = 0


10y − 2x − 3 + λ = 0 (3.4.1)


 x + y = 20

3.4.2 Contraintes en égalité et en inégalité

Le problème (P) se réduit à:

min J(x).
x∈C

avec C = {x ∈ R tel que h1 (x) = 0, ..., hp (x) = 0, g1 (x) ≤ 0, ..., gq (x) ≤ 0}

n

Les fonctions h1 ,...,hp sont continue de Rn dans R.

Les fonctions g1 ,...,gq sont continue de Rn dans R.
La condition de Karush-Kuhn-Tucker (CKKT) est donner par le théorème suiv-
ant:

Théorème 17 On suppose que J ,h1 ,...,hp ,g1 ,...,gq sont de classe C 1 . Soit x∗ une solution
du problème (P). Alors il existe λ∗ = (λ∗1 , ..., λ∗p ) ∈ Rp et µ∗ = (µ∗1 , ..., µ∗q ) ∈ Rq tels que:
1. ∀j ∈ {1, ..., q} µj ≥ 0.

2. h1 (x∗ ) = ...hp (x∗ ) = 0.

3. g1 (x∗ ) ≤ 0, ..., gq (x∗ ) ≤ 0.
4. ∀j ∈ {1, ..., q} µ∗j gj (x∗ ) = 0.
p q
5. ∇J(x∗ ) + µ∗j ∇gj (x∗ ) = 0Rn .
X X
λ∗i hi (x∗ ) +
i=1 j=1

L'ensemble des équations de 1 à 5 sont appelées les condtion de Karush-Kuhn-Tucker

(CKKT).

Remarque 24 On appelle Lagrangien du problème (P) la fonction dénie par:

Mohamed Hédi Riahi

3.4. OPTIMISATION AVEC CONTRAINTE 31

p q
µj gj (x).
X X
L(x, λ, µ) = J(x) + λi hi (x) +
i=1 j=1

La relation 5 s'écrit alors:

∇x L(x∗ , λ∗ , µ∗ ) = 0.

Où ∇x désigne le gradient par rapport à la première variable.

Exemple:
On considère le problème suivant:

2 2
 min(x,y)∈R2 2x + 2xy + y − 10x − 10y


(P) = sous les contraintes (3.4.2)

 x2 + y 2 ≤ 53x + y ≤ 6


Dans ce cas il n'y a pas de contraintes en égalité et on a:

J(x, y) = 2x2 + 2xy + y 2 − 10x − 10y

g1 (x, y) = x2 + y 2 − 5
g2 (x, y) = 3x + y − 6.

1. L'ensemble C des contraintes est dénie par:

C = {(x, y) ∈ R2 tel que x2 + y 2 ≤ 5, 3x + y ≤ 6}.

C est un ensemble fermé borné.

2. Les fonctions J , g1 et g2 sont de classe C 1 . De plus ces fonctions sont convexes.

Ecrivons les contitions de CKKT, on obtient:



 µ1 ≥ 0, µ2 ≥ 0,
 2 2
 x + y − 5 ≤ 0, 3x + y − 6 ≤ 0,



(CKKT) = µ1 (x2 + y 2 − 5) = 0, µ2 (3x + y − 6) = 0, (3.4.3)

4x + 2y − 10 + 2µ1 x + 3m2 = 0,






 2x + 2y − 10 + 2µ y + µ = 0
1 2

Comme il y a deux contraintes en inégalité il y a quatre cas possible:

1. cas 1: x2 + y 2 < 5, 3x + y < 6 ce qui donne µ1 = µ2 = 0.
2. cas 2: x2 + y 2 = 5 et µ2 = 0.
3. cas3: µ1 = 0 et 3x + y = 6.
4. cas 4: x2 + y 2 = 5 et 3x + y = 6.
⇒ Pour résoudre le problème (P) il faut donc tester chacun de ces cas et résoudre les
équations de (CKKT) à chaque fois.

Mohamed Hédi Riahi

Chapter 4

Algorithmes d'optimisation

Sommaire
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 Algorithme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3 Méthode du gradient . . . . . . . . . . . . . . . . . . . . . . . . . 34

32
4.1. INTRODUCTION 33

4.1 Introduction
Dans ce chapitre nous allons présenterquelques algorithmes permettant de calculer de manière
approchée la ou les solutions du problème (P) dénie par:

minX∈Rn J(X)

avec J : Rn −→ R diérentiabilité.
La plupart de ces algorithmes exploitent la condition d'optimalité dont on a vu qu'elle
permet de déterminer des minima locaux.
Remarque 25 Nous avons fait l'hypothèse de diérentiabilité de la fonction J . Il existe
des méthodes permettont de traiter le cas non diérentiable.

4.2 Algorithme
Dénition:
Un algorithme d'optimisation est déni par une application A : Rn −→ R permettant
lagénération d'une suite d'éléments de Rn par la formule:


 x0 ∈ R

 n
donné k = 0 Initialisation
xk+1 = A(xk ) ItérationK


 k =k+1

• Ecrire un algorithme d'optimisation ⇔ Donner la suite (xk )k de Rn .

• Etudier la convergence de l'algorithme d'optimisation ⇔ Etudier la convergence de la

suite (xk )k .

Dénition: Convergence d'un algorithme

On dit que l'algorithme A converge vers x∗ solution de problème (P) si la suite (xk )k
converge vers x∗ .
Remarque 26 Un critère de mesure de la vitesse de convergence est l'évolution de l'erreur
comise ek = ||xk − x∗ ||.
Taux de convergence d'un algorithme
Soit (xk )k∈Rn une suite de limite x∗ dénie par la donnée d'un algorithme convergent A.
On dit que la convergence de l'algorithme A est:
1. Linéaire si l'erreur ek = ||xk − x∗ || décroit linéairement:
∃c ∈ [0, 1[ tel que ∃k0 ∈ N, ∀k ≥ k0 , ek+1 ≤ cek .

2. Super-linéaire si l'erreur ek décroit de la manière suivante:

Mohamed Hédi Riahi

4.3. MÉTHODE DU GRADIENT 34

ek+1 ≤ αk ek

(αk ) une suite positive converge vers 0.

Si (αk ) est une suite géométrique, la convergence de l'algorithme est dite géométrique.

3. D'ordre p si l'erreur ek décroit de la manière suivante:

∃c > 0 tel que ∃k0 ∈ N, ∀k ≥ k0 , ek+1 ≤ c|ek |p .
Si p = 2, la convergence de l'algorithme dite quadratique.

4.3 Méthode du gradient

La méthode de gradient fait partie d'une classe plus grande de méthode numérique appelées
méthode de descente.
But: Résoudre le problème (P)

(P) min J(X)

X∈Rn

avec J : Rn −→ R diérentiabilité.
Les étapes à suivre pour résoudre le problème (P) sont les suivantes:

1. On donne un point de départ arbitraire X0 . Pour construire l'itéré suivant:

2. On cherche X1 telle que J(X1 ) < J(X0 ). Avec X1 = X0 + ρ1 d1 .

d1 vecteur non nul de Rn et ρ1 > 0.

Remarque 27 On pratique on cherche d1 et ρ1 pour que J(X0 + ρ1 d1 ) < J(X0 ).

On ne peut pas toujours trouver d1 .
Si d1 existe on appelle direction de descente.
ρ1 est le pas de descente.
La direction et le pas de descente peuvent être xes ou changer à chaque itération.

Le Schéma général d'une méthode de descente est le suivant:

donné
(
X0 ∈ Rn
Xk+1 = Xk + ρk dk , dk ∈ Rn , ρk ∈ R∗+

ρk et dk sont choisis de telle sorte que J(Xk + ρk dk ) < J(Xk ).

Exemple:
Soit la fonction f : R2 −→ R dénie par:

1 2
f (x) = f (x1 , x2 ) = x + 2x22 .
2 1

Mohamed Hédi Riahi

4.3. MÉTHODE DU GRADIENT 35

Figure 4.3.1: Allure de f dans plusieurs directions .

La gure suivante donne l'allure de la fonction f au point x = (x1 , x2 ) = (1, 1) dans plusieurs
directions.

Algorithme de descente:
Le Schéma général d'un algorithme de descente est la suivante:
Données f : Rn −→ R diérentiable, X0 ∈ Rn point initial arbitraire choisi et ε donné.
Sortie Une approximation de la solution du problème minn J(X).
X∈R

1. k = 0.
2. Tant que ||Xk+1 − Xk || > ε ou ||∇J(Xk+1 )|| > ε
(a) Trouver une direction dk .
(b) recherche linéaire: choisir un pas ρk > 0 à faire dans la direction dk tel que:

J(Xk + ρk dk ) < J(Xk ).

(c) Mise a jour Xk+1 = Xk + ρk dk ; k = k + 1

3. Retourner Xk .

Remarque 28 Pour obtenir le prochaine itéré, l'algorithme aura besoin:

• Information sur J : valeur numérique en un point donnée.
• Information sur ∇J : valeur numérique en un point donnée.
Ces information sont fournies en Boite Noire. Un sous programme independant de l'algorithme
d'optimisation choisi.

Mohamed Hédi Riahi

4.3. MÉTHODE DU GRADIENT 36

Test d'arrêt:
Soit X ∗ un point de minimum local du critère de J à optimiser. Supposons que l'on choisi
comme test d'arrêt dans l'algorithme de descente modèle, le critère idéal Xk = X ∗ . Dans
un monde ideal soit l'algorithme s'arrête après un nombre ni d'itération, soit il construit
une suite innie X1 , ..., Xk , ... de points de Rn qui converge vers X ∗ .
En pratique, un test d'arrêt devra être choisi pour garantir que l'algorithme s'arrête
toujours après un nombre ni d'itérations et que le derniere point calculer soit susamment
proche de X ∗ .
Soit ε > 0 la précission demander. Plusieurs critères sont à notre disposition:
1. ||∇J(Xk )|| ≤ ε ⇒ Xk solution. (Condition nécessaire d'optimalité du premier ordre).

2. En pratique, le test d'optimalité n'est pas toujours satisfait et on devra faire appel à
d'autres critères.

(a) ||Xk+1 − Xk || ≤ ε||Xk || stagnation de la solution.

(b) |f (Xk+1 ) − f (Xk )| ≤ ε|f (Xk )| stagnation de la fonction.
(c) Nombre d'itération dépassont un seuil xe à l'avance k < IterM ax.

Généralement une combinaison de ces critères.

Premiers algorithmes de descente:
Un algorithme de descente est déterminer par les stratégies de choix des directions de de-
scente successives, puis par le pas qui sera eectué dans la direction choisi.
Question: Comment déterminer la direction de descente?
Si on écrit le développement de Taylor à l'ordre 1 de la fonction J entre deux itérés Xk et
Xk+1 = Xk + ρk dk :

J(Xk + ρk dk ) = J(Xk )+ < ∇J(Xk ), ρk dk > +o(Xk ).

On veut que J(Xk + ρk dk ) < J(Xk ) alors le meilleur choix est dk = −∇J(Xk ), pour ρk
constant ou variable.
Le choix de la direction de plus forte descente dénit une famille d'algorithme appelés
algorithmes de descentes de gradient dont le schéma est le suivant:
Algorithme de descente de gradient

Données f : Rn −→ R diérentiable, X0 ∈ Rn première de la solution cherchée, ε precision

demandée.
Sortie Une approximation X ∗ de la solution du problème minn J(X).
X∈R

1. k = 0.

2. Tant que critère d'arrêt non satisfait.

(a) Direction de descente dk = −∇J(Xk ).

Mohamed Hédi Riahi

4.3. MÉTHODE DU GRADIENT 37

(b) Recherche linéaire: choisir un pas ρk > 0 à faire dans la direction dk tel que:

J(Xk + ρk dk ) < J(Xk ).

(c) Mise a jour Xk+1 = Xk − ρk ∇J(Xk ); k = k + 1

3. Retourner Xk .

Remarque 29 Il faut dénir une stratégie de recherche linéaire pour le calcul du pas:
• Méthode à pas optimal.
• Méthode à pas xe.

1. Pas optimal: Une idée naturelle consiste à suivre la direction de plus forte descente
et à faire un pas qui rende la fonction à minimiser la plus petite possible dans cette
direction. Ainsi on dénie la méthode de gradient à pas optimal.
L'étape 2)b) est remplacer par:
Calculer un pas optimal ρk solution de min J(Xk + ρdk ).
ρ>0

2. Pas xe: L'idée est trés simple. On impose une fois pour toutes la taille du pas
eectué selon la direction de descente calculée à chaque itération. Ainsi on dénie la
méthode de gradient à pas xe.
L'étape 2)b)c) est remplacer par: Xk+1 = Xk − ρ∇J(Xk ).

Exemple:
On veut minimiser f : R2 −→ R dénie par:

1 2 7 2
f (x, y) = x + y .
2 2
Nous allons utiliser les algorithmes de descente de gradient à:
• Pas xe.

• Pas optimal.

On a f est deux fois diérentiable sur R2 et strictement convexe.

(0, 0) est l'unique minimum global de f .
Soit les étapes de l'algorithme:
1. Soit Xk = (xk , yk ) l'itéré courant tel que ∇f (xk , yk ) 6= 0R2 .
!
−xk
2. Direction de plus forte descente: dk = −∇f (xk , yk ) = .
−7yk

3. Calcul du pas optimal ρk solution du problème à une dimension:

1 7
min f (Xk + ρdk ) = min x2k (1 − ρ)2 + yk2 (1 − 7ρ)2
ρ>0 ρ>0 2 2

Mohamed Hédi Riahi

4.3. MÉTHODE DU GRADIENT 38

La solution se calcule de façon immédiate:

x2k + 72 yk2
ρk = .
x2k + 73 yk2
! ! !
xk+1 xk x2k + 72 yk2 −xk
4. Ainsi = + 2
yk+1 yk xk + 73 yk2 −7yk
!
7
Appliquons maintenant les deux algorithme à partir du point X0 = . Soit la gure
1.5
suivante qui illustre les itérations des algorithmes de gradient à pas xe et à pas optimal,
générées à partir du point X0 .
Cet exemple met en évidence la lenteur de la méthode de plus profonde descente, caractérise
par le comportement en zigzag des itérés. Ces zigzags ce traduisent par le faite que deux
directions de descente successives calculées par l'algorithme de plus forte descente sont or-
thogonales.

Figure 4.3.2: Itérations des algorithmes .

Mohamed Hédi Riahi

4.3. MÉTHODE DU GRADIENT 39

Soit le tableau suivant qui décrit les itérations de la méthode de plus profonde descente.
Le critère d'optimalité est satisfait en 43 itérations pour une precision ε = 10−5 et en 79

Figure 4.3.3: Itérations de l'algorithme à pas optimal .

itérations si ε = 10−10 .
Pour l'algorithme à pas xe, on a le nombre d'itérations en fonction de pas choisi est donner
par le tableau suivant:

pas 0.325 0.25 0.125 0.05 0.01

Nombre d'itérations DV 49 101 263 1340

Table 4.1: Nombre d'itérations de l'algorithme à pas xe

Mohamed Hédi Riahi

4.3. MÉTHODE DU GRADIENT 40

Mohamed Hédi Riahi