Optimisation Mathématique ENIGA
Optimisation Mathématique ENIGA
Recherche Opérationnelle
Optimisation Sans Contraintes
Mohamed SALAH
ENIGA 2021/2022
Plan
3
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
x
B
x0 x x1
x0 x0 x x0 x1 x0 M M AB 0 1 /
A
xM (1 ) x A xB
x x0
0 1 Généralisation:
x1 x0
Quels que soient x0 et x1 éléments
x x0 0 1
d’un espace vectoriel E, on appelle
x1 x0 ( x1 x0 ) x x0 segment [x0, x1] le sous-
0,1 ensemble de E défini par:
x (1 ) x0 x1 x0 , x1 x E / x (1 ) x0 x1 ; 0,1
x x0 , x1 0,1 / x (1 ) x0 x1 4
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
Ensemble Convexe:
Une partie D (ou un ensemble) est dite convexe lorsque, pour tout couple d’éléments
Ensemble Convexe
b b Convexe
Non-Convexe a
a c
a D
a, b D 0,1 , (1 ) a .b D
b D
Si toute la droite (a,b) est entièrement inclus dans D, l’ensemble est dit affine:
a D
(a, b) D IR, (1 )a .b D 5
b D
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
Corde
Concave max
Convexe
min Corde
x0 x1 x0 x1
Convexe: b
l'épigraphe de la
b
fonction est un a
a
ensemble convexe 6
x0 x1 x0 x1
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
f ( x1 ) f ( x0 )
f(x1) p
x1 x0
(0) f ( x0 ) p.x0
x0 x1
( x) p( x x0 ) f ( x0 )
f ( x1 ) f ( x0 )
( x) ( x x0 ) f ( x0 )
x1 x0
7
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
f ( x1 ) f ( x0 ) f ( x) ( x)
( x) ( x x0 ) f ( x0 ) f (1 ) x0 x1 (1 ) f ( x0 ) f ( x1 )
Fonction Convexe
x1 x0
Soit x x0 , x1 . Alors on a: 0 1
x (1 ) x0 x1 ; 0 1
f ( x1 ) f ( x0 )
( x) ((1 ) x0 x1 x0 ) f ( x0 )
x1 x0
f ( x1 ) f ( x0 )
( x) ( x0 x0 x1 x0 ) f ( x0 )
x1 x0
f ( x1 ) f ( x0 )
( x) ( x0 x1 ) f ( x0 )
x1 x0
( x) f ( x1 ) f ( x0 ) f ( x0 )
( x) (1 ) f ( x0 ) f ( x1 ) 8
Optimisation Sans Contraintes
Fonction d’une Variable Réelle
f ( x1 ) f ( x0 )
Tangente à une Courbe
Droite p
x1 x0
tangente au
point (x0, y0)
f(x0) f ( x1 ) f ( x0 )
x1 x0 p lim f '( x0 )
x1 x0
x1 x0
Signe de la Dérivée:
Le signe de la dérivée en
Signe de la Dérivée
M2
M1 un point informe sur le f(x2)
f(x1)
sens de croissance de la
f '( x1 ) 0 courbe en ce point. f '( x2 ) 0
x1 x2
Points
Stationnaires
M3
f(x3)
M4
f(x4)
f '( x0 ) 0
f '( x3 ) 0 f '( x4 ) 0
10
x3 x
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
p=f’(x0)
Cg
g '( x0 ) f '( x0 )
f(x0)=g(x0) Cf
x0
g '( x0 ) f '( x0 )
f(x0)=g(x0) Cf
Cg
p=f’(x0)
x0 p=g’(x0)
f ''(1 / 2) 1
f 2 ( x) f1 ( x) .( x ) 2
2! 2
1 1
f ( x) 2 4( x ) 8( x ) 2
x 1/2 2 2 13
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
f ''(a ) f ( n ) (a)
f ( x) f (a ) f '(a ).( x a ) .( x a ) ...
2
.( x a ) n Rn ( x)
2! n!
Rn ( x) n
f ( k ) (a)
lim
x a ( x a ) n
0 f ( x )
k 0 k !
.( x a ) k
Rn ( x)
f(x)
Un changement de variable h x a x a h donne:
f ''(a ) 2 f ( n ) (a) n
f (a h) f (a ) f '(a ).h .h ... .h Rn (h)
2! n!
Rn (h) n
f ( k ) (a) k
lim n 0 f ( a h) .h Rn (h)
h 0 h k! a
k 0 14
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
Max local
Extremum
Min « m » Max en « M »
x I , x I ,
x1 x2
f ( x) f ( M ) f ( x ) f ( m)
Min local
I=domaine de f Global
Min global
15
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
Mais attention, sous la condition f’(a)=0, dite de premier ordre, trois cas peuvent avoir
lieu:
f(x) f(x)
Tangente horizontale f(x)
M M M Min
Tangente horizontale Tangente horizontale
Max
a a a
16
Maximum Minimum Max & Min = Inflexion
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
f ( x) f (a ) f ( x) f (a ) 0
lim ( x a ) 0 Comme:
x a
lim ( x a ) 0 f ( x) f (a) f ( x) f (a )
x a lim lim f '( a)
x a xa x a xa
Ainsi nous obtenons:
Nous aurons nécessairement: f '(a ) 0
f ( x) f (a)
lim
xa 0
xa Si on refait la même démarche pour le max nous
lim f ( x) f ( a ) 0 obtenons le même résultat.
xa xa 17
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
Minimum Maximum
f(x)
M M
a a
Convexe 18
Concave
Optimisation Sans Contraintes
Fonction d’Une Variable Réelle
Preuve:
La formule de Taylor-Young à l’ordre 2 donne:
f ''(a )
f ( x) f (a ) f '(a ).( x a ) .( x a ) 2
2!
Si « a » est un point stationnaire, alors: f '(a ) 0 .Ainsi, on obtient:
f ( k ) (a)
f ( x) f (a ) .( x a ) k
k!
f (k )
(a ) 0 min
Pair ( x a ) >0 sig f ( x) f (a ) sig f (a ) ( k )
k (k )
k f (a ) 0 max
Impair f ( x) f (a ) change de signe Point d'inflexion
20
Rappel: Matrices et Déterminants
21
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Matrice Echelonnée :
Matrice Echelonnée 1
Pivot Pivot
2z 0 0 4 1 1 3 0
2
3z 0 0 0 1 2 2 0 0
Pivot
5z 0 0 0 0 0 2 0 5
Pivot
7z 0 0 0 0 0 0 0 7
5 1 0 4 0 1 1 0 9 3 2
0 2 2 1 0
2 2 0 0 2 1
Oui Non Oui
0 0 0 3 0 0 2 0 0 0 3
0 0 0 0 5 0 0 0 0 0 0 22
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Matrice Echelonnée avec des pivots unitaires. De plus, pour chaque colonne
pivot, tous les éléments (autres que le pivot) sont obligatoirement nuls.
2z 0 0 1 0 1 0 30
3z 0 0 0 1 2 0 4 0
5z 0 0 0 0 0 1 0 0
7z 0 0 0 0 0 0 0 1
1 0 0 0 0 1 0 0
0 0 1 1
1 2 0 0 0 1
0 0 0 1
E-R E-NR N-E
0 0 0 1 0 0 1 0
0 0 0
0 0 0 0 0 0 0 0 23
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Matrice Carrée:
Une Matrice carrée est une matrice dont le même nombre de lignes égalise
Matrice Carrée
le nombre de colonne.
1 / 2 1 3 i
1 1 3 5 1/ 3
i 0 5 M 3 ( IC )
1
1 5 2 1 3
4 1
1 4 0 5 3 M 5 ( IR)
1 5 4 1 1 1 M1 ( IR)
0 0.2 1 2
3
A M n ( IK )
24
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Matrices Triangulaires « L » et « U »:
Matrice Triangulaire
Une matrice triangulaire L: « Low » (resp. U: « Up ») est une matrice carrée dont
tous ses éléments au-dessus (resp. au-dessous) de la diagonale sont nuls.
a11 0 0 0 0
a a11 a12 a13 a14
0 0 a24
a22 0 0
21 a22 a23
a31 a32 a33 0 0
0 0 a33 a34
a41 a42 a43 a44 0
a 0 0 0 a44
51 a52 a53 a54 a55
carrée peut être remplacée par une seule valeur dite propre.
Vecteur
Vecteur
Matrice
Valeur
Carrée
A. X . X
Vecteur
Propre
Matrice Valeur
Carrée Propre 26
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
( ) det A I
Remarques :
n n
i 1
i Tr( An ) aii
i 1
i 1
i det( A)
A
a22 a23
( ) (1) n
( a )
ii
0 0 a33 a34 i 1
0 0 0 a44
Chercher les vecteurs non nuls qui engendrent les solutions du système :
Calcul Matriciel
A I X 0 ; X 0
Application :
1 3 3
A 2 11 2
8 7 6
29
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Trace et Déterminant de A :
1 3 3 1 3 3
A 2 11 2
Calcul Matriciel
det( A) 2 11 2 ?
7 1 3 3 8 7 6
8 6
2 11 2
Méthode de Sarrus Tr(A)= 1+11+6=18
8 7 6
_ 1 3 3 +
_ +
3x11x8=264 2 11 2 1x11x6=66
_
(-2)x(-7)x1=14 + (-2)x(-7)x3=42
6x3x(-2)=-36 8x3x(-2)=-48
Valeurs Propres: +
1 3 3 1 _ 3 3 1 2
A 2 11 2 A I +2 11 2 2 7
Calcul Matriciel
8
8 7 6
7 6 3 13
11 2 3 3 3 3
( ) (1 ) (2) 8
7 6 7 6 11 2
( ) (1 ) (11 )(6 ) 14 2 3(6 ) 21 8 6 3(11 )
1 2 X1?
1 (2) 3 3
A 1I 2 11 (2) 2
Calcul Matriciel
8 7 6 (2)
3 3 3 x11
A 1I X 1 0 2 13 2 x12 0
8 7 8 x
13
x11 x12 x13 0 x11 1
2 x11 13 x12 2 x13 0 x12 0 X 1 0
8 x 7 x 8 x 0 1
11 12 13 x13 x1
32
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
2 7 X 2?
1 (7) 3 3
Calcul Matriciel
A 2 I 2 11 (7) 2
8 7 6 (7)
6 3 3 x21
A 2 I X 2 0 2 4 2 x22 0
8 7 1 x
23
6 x21 3 x22 3 x23 0
6 x21 3 x22 3 x23 0 x21 1
1 1 1
2 x 4 x 2 x 0 x x x x x X
21 22 23 22
2
23
2
21 22 21 2
8 x 7 x x 0 x x 1
21 22 23
x23 8 x21 7 x22 23 21
33
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
3 13 X3?
1 (13) 3 3
A 3 I 2 11 (13) 2
Calcul Matriciel
8 7 6 (13)
12 3 3 x31
A 2 I X 2 0 2 2 2 x32 0
8 7 7 x
33
12 x31 3 x32 3 x33 0 12 x31 3 x32 3 x33 0 x32 0
1
2 x 2 x 2 x 0 x x x x 0 X
31 32 33 32 33 31 31 3
8 x 7 x 7 x 0 x33 x32 1
31 32 33 8
x33 x31 x32
7
34
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Matrices Symétriques :
Matrice Symétrique 1/10
Une matrice carrée est qualifiée de symétrique lorsqu’elle reste inchangée lorsqu’on
la transpose : At = A amn = anm. Elle est symétrique par rapport à la diagonale
2 1 3 5 0
1 3 4 1 8
Toute matrice diagonale est symétrique
3 4 0 5 3
5 1 5 7 1
0 8 2
3 1 Les valeurs propres d’une matrice
symétrique sont réelles
Symétrique 5x5
35
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Matrice de Passage:
Une matrice carrée B est dite semblable à une matrice carrée A s’il existe
Calcul Matriciel
det(A)=det(B)
Matrice
Symétrique
Forme Quadratique :
Matrice Symétrique 3/10
En particulier, cette condition est vraie pour chaque vecteur propre Xp:
q A ( X ) 0 X Tp AX p 0 X Tp X p 0 X Tp X p 0 0 A 0
0
Preuve (sens 2): comme la matrice symétrique A est diagonalisable et du fait que
deux matrices semblables ont le même spectre, on obtient:
A P.D.PT X T AX X T P.D. PT X Y T .D.Y i yi2 q A ( X ) 0 A 0
q A ( X ) 0 A 0 39
Y i
A 0 Sp( A) 0 i 0 X AX q A ( X ) 0
T
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
r s x1
A ; X x
s t 2
r s x1
q A ( X ) X AX x1 x2
T
x
s t 2
x
q A ( X ) rx1 sx2 sx1 tx2 1
x2
q A ( X ) rx12 2sx1 x2 tx22
s s s
q A ( X ) r x12 2 x1 x2 ( x2 ) 2 ( x2 ) 2 tx22 40
r r r
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
r s
Matrice Symétrique 6/10
s s2 2
2
q A ( X ) r x1 x2 t x2
s t
r r
x 0
Si X 1 Alors q A ( X ) 0; X 0 r det( A1 ) 0
x2 0
s
x x s 2
det( A2 )
Si X 1
r Alors q A ( X ) 0; X 0 t
2
0
r det( A1 )
2 x 0
Finalement, on obtient :
r det A1 0
q A ( X ) 0; X 0
rt s det A2 0
2
41
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
s s2 2
2
q A ( X ) r x1 x2 t x2
r r
x 0
Si X 1 Alors q A ( X ) 0; X 0 r det( A1 ) 0
x2 0
s
x x s 2
det( A2 )
Si X 1
r
2 Alors q ( X ) 0; X 0 t 0
A
r det( A2 )
2 x 0
Finalement, on obtient :
r det A1 0
q A ( X ) 0; X 0 s 2
t 0 rt s det A2 0
2
42
r
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
r 0 A définie positive
det( A) rt s 0
2
r 0 A définie négative
det( A) rt s 2 0 A Non-définie
Résultat issu du signe du spectre de la matrice (valeurs propres) :
r s
det( A I ) 0 0 ( r )(t ) s 2 0
s t
2 (r t ) (rt s 2 ) 2 Tr( A) det( A) 0 ( r t ) 2 4 s 2 0
Tr( A) ( r t ) 2 4 s 2 ; 0 Tr( A) (r t ) 2 4 s 2
Tr( A) 0
( r t ) 2
( r t ) 2
4 s 2
rt s 2
det( A) 0 43
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Tr( A) 0
A0
det( A) rt s 0 rt s 0 r et t de même signe
2 2
r t 0
A 0 det( A) 0 et r0
r et t de même signe
44
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
a b c x1
A b d e ; X x2
c e x
f 3
La forme quadratique associée à « A » s’écrit:
a b c x1
q A ( X ) x1 x2 x3 b d e x2
c e f
x3 x1
q A ( X ) ax1 bx2 cx3 bx1 dx2 ex3 cx1 ex2 fx3 x2
x
3
q A ( X ) ax12 2bx1 x2 dx22 2ex2 x3 fx32 2cx1 x3 45
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
b c
q A ( X ) a x12 2 x1 x2 x3 dx22 2ex2 x3 fx32
a a
2 2
b c b c
q A ( X ) a x1 x2 x3 a x2 x3 dx22 2ex2 x3 fx32
a a a a
c b2 2 c2 2
2
b bc
q A ( X ) a x1 x2 x3 x2 x3 2 x2 x3 dx22 2ex2 x3 fx32
a a a a a
46
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
c b2 2 c 2 2
2
b bc
q A ( X ) a x1 x2 x3 x2 x3 2 x2 x3 dx22 2ex2 x3 fx32
a a a a a
c b2 2 c2 2
2
b bc
q A ( X ) a x1 x2 x3 d x2 f x3 2 e x2 x3
a a a a a
c ad b 2 2 ae bc af c 2 2
2
b
q A ( X ) a x1 x2 x3 x2 2 x2 x3 x3
a a a a a
c ad b 2 2 ae bc af c 2 2
2
b
q A ( X ) a x1 x2 x3 x2 2 x2 x
2 3 x3
a a a ad b a
47
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
c ad b 2 2 ae bc af c 2 2
2
b
q A ( X ) a x1 x2 x3 x2 2 x2 x
2 3 x3
a a a ad b a
c ad b 2 ae bc af c 2 2
2 2
b
q A ( X ) a x1 x2 x3 x2 x
2 3 x3
a a a ad b a
ad b 2 ae bc
2
2 3
x
a ad b
c ad b 2 ae bc
2 2
b
q A ( X ) a x1 x2 x3 2x x
2 3
a a a ad b
1 af c ad b ae bc 2
2 2 2
x3
a
ad b
2
ad b
2
48
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
c ad b 2 ae bc
2 2
b
q A ( X ) a x1 x2 x3 2
x 2 3
x
a a a ad b
adf 2bce c 2 d ae 2 b 2 f 2
x3
ad b 2
2
b c a b c a b
q A ( X ) det( A1 ) x1 x2 x3
a a b d e b d
ae bc
2
det( A2 ) c e f c e
x x
2 3
ad b
2
det( A1 ) det( A1 ) a
det( A3 ) 2
x3 det( A2 ) ad b 2
det( A2 )
det( A3 ) adf 2bce dc 2 ae2 b 2 f
49
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
ae bc det( A3 ) 2
2 2
b c det( A2 )
q A ( X ) det( A1 ) x1 x2 x3 x x
2 3
x3
ad b
2
a a det( A1 ) det( A2 )
det( A2 )
det( A ) 0 det( A1 ) 0
A 0 X 0 ; q A ( X ) 0 det( A1 ) 0 et det( A2 ) 0
1
det( A3 ) 0 det( A ) 0
det( A2 ) 3
det( A2 )
det( A ) 0 det( A1 ) 0
A 0 X 0 ; q A ( X ) 0 det( A1 ) 0 et det( A2 ) 0
1
det( A3 ) 0 det( A ) 0
det( A2 ) 3
50
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Pour qu’une matrice symétrique réelle A de taille « n » soit définie positive, il est
nécessaire et suffisant que les « n » mineurs principaux (déterminants des sous
matrices) soient strictement positifs.
a
a11 a12
det( A2 ) 0
a22 ... a2 n a12 a22
12 a11 a12 a13
... ... ... ... det( A3 ) a12 a22 a23 0
Pour qu’une matrice symétrique réelle A de taille « n » soit définie négative, il est
nécessaire et suffisant que les « n » mineurs principaux (déterminants des sous
matrices) soient de signes alternés: - + - +… c’est-à-dire (-1)i.det(Ai) >0 pour i: 1 n
a .....(1) n det( An ) 0
1n a2 n ... ann 52
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
0’
Calcul Matriciel
N
Ny T
α T
N’
T
My M
α
T
0 Nx Mx
Transposée :
....
.... .... .... .... .... .... .... .... .... .... .... .... ....
an1.... ani .... anj .... ann an1 .... anj .... ani .... ann
8 4 2 7 2 4 8 7
Exemple: det
0 1 9 1 0 9
det
6 3 j 2 j 3 6 2
5 1 0 1 0 1 5 1
Ci C j i det det 55
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Propriété d’Altération:
Propriété de Multi-linéarité:
Conséquence:
conserve le déterminant.
n
C1 ... Ci ... Cn C1 ... Ci
j 1; j i
j .C j ... Cn
n
Ci Ci
j 1; j i
j .C j det det
Exemple:
3 2 2 3 2 2 3 2 1
det 7 4 3 ? C3 C3 (1)C1 1.C2 7 4 3 7 4 0
9 2 7
9 2 7 9 2 0
58
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Matrices Particulières:
diagonaux.
59
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
det ?
83
0 3 1 1 Mineur Cofacteur
1 0 2 3
4 0 3 1
4 1 0 4 3 1
4 3 14 3 1
4 2 1 0
0 0 1 1 2 0 1 1 3 4 1 0 0 4 1 0
0 3 1 1 1 2 3
1 2 3 1 2 3 0 1 1
1 0 2 3
4 3 1 4 3 1
1 1 3 1 3 1 4 1
0 1 1 4 1 16 4 1 0 4 1 17
2 3 1 1 2 3 1 3
1 2 3 1 2 3
60
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Pour obtenir l’inverse d’un nombre « a » (non nul), il suffit de permuter les
emplacements de l’élément neutre « 1 » et de « a ».
a inverse 1
a 0a a 1
1 a
Par analogie, l’inverse d’une matrice carrée « A » (à déterminant non nul) est obtenu
par permutation des emplacements de l’identité « I » et de « A ».
Pivot de Gauss
A' A I A' I A1
Cette opération peut être réalisée en manipulant la matrice augmentée pour faire
apparaitre la matrice unité à gauche en suivant l’algorithme du pivot de Gauss. 61
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
Application:
4 0 3 1 4 0 3 1 0 0 0
1
4 4 2 1 0 0 1 0 0
2 1 0
Calcul Matriciel
A M. Augmentée A I
0 3 1 1 0 3 1 1 0 0 1 0
1 0 2 3 1 0 2 3 0 0 0 1
1 0 0 0 * * * *
But 0 1 0 0 * * * *
I A1
0 0 1 0 * * * *
0 0 0 1 * * * *
4 0 3 11 0 0 0
Calcul Matriciel
L1 L1/4
4 2 1 0 0 1 0 0
0 3 1 1 0 0 1 0
1 0 2 3 0 0 0 1
14 3 1/4
0 3/4 1 0 0 0
1 1/4
4 2 1 00 1 0 0
0 3 1 1 0 0 1 0
1 0 2 3 0 0 0 1
63
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
1 0 3 / 4 1/ 4 1/ 4 0 0 0
Calcul Matriciel
4 2 1 0 0 1 0 0 L2 -4L1+L2
0 3 1 1 0 0 1 0 ok
1 0 2 3 0 0 0 1 L4 -L1+L4
1 0 3 / 4 1/ 4 1/ 4 0 0 0
04 2 -2
1 -1
0 0-1 1 00 00
0 3 1 1 0 0 1 0
10 0 2 3 0
0 5/4 11/4 -1/4 0 0 1 64
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
1 0 0 0
Calcul Matriciel
0 3/ 4 1/ 4 1/ 4
0 2 2 1 1 1 0 0 L2 L2/2L2
0 3 1 1 0 0 1 0
0 0 5 / 4 11/ 4 1/ 4 0 0 1
1 0 3/ 4 1/ 4 1/ 4 0 0 0
0 21 -12 -1/2
1 -1/2 1 0 0
1 1/2
0
0 3 1 1 0 0 1 0
0 0 5 / 4 11/ 4 1/ 4 0 0 1
65
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
1 0 3/ 4 1/ 4 1/ 40 0 0
Calcul Matriciel
0 1 1 1/ 2 1/ 2 1/ 2 0 0
0 3 1 1 0 0 1 0 L3 -3L2+L3
0 0 5 / 4 11/ 4 1/ 4 0 0 1 ok
1 0 3/ 4 1/ 4 1/ 4 0 0
0
0 1 1 1/ 2 1/ 2 1/ 2 0 0
0 30 14 1/2
1 3/2
0 0 11 00
-3/2
0 0 5 / 4 11/ 4 1/ 4 0 0 1
66
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
1 0 3/ 4 1/ 4 1/ 4 0 0
0
Calcul Matriciel
0 1 1 1/ 2 1 / 2 1 / 2 0 0
0 0 4 1/ 2 3 / 2 3 / 2 1 0 L3 L3/4
0 0 5 / 4 11/ 4 1/ 4 0 0 1
1 0 3/ 4 1/ 4 1/ 4 00 0
0 1 1 1/ 2 1 / 2 1 / 2 0 0
0 0 41 1/1/8 2 / 2 -3/8
33/8 1 00
3 / 2 1/4
0 0 5 / 4 11/ 4 1/ 4 0 0 1
67
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
1 0 3/ 4 1/ 4 1/ 4 0 0 L1 -3L3/4+L1
0
Calcul Matriciel
1 0 3 0/ 4 1/ 4
5/32 1/ 4
-1/32 0 0
0 -6/32
9/32
0 1 01 -3/8
1/ 2 -1/8
1/ 2 0 00
1/82 2/8
1/
0 0 1 1/ 8 3 / 8 3 / 8 1/ 4 0
0 0 5 0/ 4 11/
83/32 1/ 4 15/32
4 -23/32 0 1
0 -10/32
68
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
1 0 0 5 / 32 1/ 32 9 / 32 6 / 32
0
Calcul Matriciel
0 1 0 3 / 8 1/ 8 1/ 8 2/8 0
0 0 1 1/ 8 3/8 3 / 8 1/ 4 0
0 0 0 83 / 32 23 / 32 15 / 32 10 / 32 1 L432L3/83
1 0 0 5 / 32 1/ 32 9 / 32 6 / 32
0
0 1 0 3 / 8 1/ 8 1/ 8 2/8 0
0 0 1 1/ 8 3/8 3 / 8 1/ 4 0
0 0 0 83 1/ 32 -23/83
23 / 32 15 / 32 -10/83
15/83 1
10 / 32 32/83
69
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
A-1
1 0 0 5 /032 1/ 32
1/83 921/83
/ 32 6-14/83
/ 32 0
-5/83
0 1 0 30/ 8 1/ 8
-19/83 1/ 8
16/83 217/83
/8 0
12/83
0 0 1 1/08 3/8
34/83 3 / 8
-33/83 1/ 4
22/83 0
-4/83
0 0 0 1 23 / 83 15 / 83 10 / 83 32 / 83
70
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
0 1 1 0 1 1 0 0 0
rg ( A) 2
1 3 6 2 1 3 6 2
L2 L2 2 L1
A 2 5 10 3 : 0 1 2 1
L L 3L
3 8 17 4 3 3 1 0 1 1 2
1 3 6 2
: L3 L3 L2 0 1 2 1
0 0 1 1
rg ( A) 3
71
Optimisation Sans Contraintes
Rappel Matrices et Déterminants
x 2 x 3x 8
1 2 3
1 0 2 1 0 2 1 0
3 4 6
SARRUS
3 4 6 3 4 (12 12) (8 12) 44
1 2 3 1 2 3 1 2
6 0 2 1 6 2 1 0 6
30 4 6 3 30 6 3 4 30
8 2 3 10 1 8 3 18 1 2 8 38
x1 ; x2 ;x
1 0 2 11 1 0 2 11 3 1 0 2 11
3 4 6 3 4 6 3 4 6
1 2 3 1 2 3 1 2 3 72
Fonction de Deux Variables Réelles
73
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
f ( x1 , x2 )
Exemple:
x f x2
Exemple:
2
f ( x) x 2 x 3
f ( x1 , x2 ) x12 x1.x23 x2 1
f '( x) 2 x 1
2 x1 x23
f ( x1 , x2 )
3 x .
1 2x 2
1
74
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
fonction à deux variables, le graphe est une surface (dans l’espace). Chaque
point est repéré par ses coordonnées (a1,a2,f(a1,a2)).
f(a)
M
a 75
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
h1 x1 a1 a1 h1
avec On pose: a ; h Produit Scalaire J f (a).h
h2 x2 a2 a2 h2
f (a h) f (a) f x1 (a).h1 f x2 (a).h2 f (a h) f ( a) f (a ), h 76
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
obtient alors « 2x2 » valeurs organisés sous forme d’une matrice carrée symétrique
conformément au théorème de Schwarz. C’est la Hessienne « H » de la fonction.
a1 h1
On pose: a ; h
a2 h2
f (a h) f (a ) f (a ), h
1
2 1
f x2 (a ).h12 2 f x1x2 (a ).h1h2 f x2 (a ).h22 R2 (h)
2
f(x)
M
M
79
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
Cette condition de premier ordre informe sur : un max, un min ou un point de selle.
Max global
Max local Point de Selle
000
Min global
Min local 80
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
Preuve:
La formule de Taylor-Young à l’ordre 2 donne:
1 T 1
f (a h) f (a ) f (a ), h h H f (a )h f (a ) f ( a ), h qH (h)
2 2
Si « a » est un point stationnaire, on a:f ( a ) 0 . Ainsi, on obtient:
r s
H
s t
Ainsi, la forme quadratique de la Hessienne de la fonction au point critique « a » s’écrit :
qH (h) hT Hh
r s h1
qH (h) h1 h2 h rh1
2
2 sh h
1 2 th2
2
s t 2
Si on pose x h1 / h2 la forme quadratique s’exprimera par un trinôme de second degré :
rx 2 2sx t 0
' s 2 rt det( H )
r 0 min
Si det( H ) 0 ' 0 sig( qH ( h)) sig( r )
r 0 max
2 s
det( H ) 0 ' 0 qH ( h) est de signe de "r" mais s'annule en
r0
Le point critique est dégénéré On ne peut pas conclure directement
Exemple:
4 x3
f ( x , y ) x y 3 y 2 f ( x , y ) 2
4 3
(0,1);(0, 1)
3y 3
2 x2 0 0 0 0 0
H 6 H (0,1) 6 ; H (0, 1) 6 det( H ) 0
0 y 0 1 0 1
84
Les deux points critiques sont dégénérés
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
Exemple:
f ( x, y ) x 3 y 4 yx 2 xy 2
J f ( x, y ) 3 x 2 2 yx y 2 4 y 3 x 2 2xy (f )T
3x y x y
H f ( x, y ) 2 2
x y 6 y 2
x
f (0,0) 0 et H f (0,0) 0 qH (0,0) 0 Il faut passer à l’ordre 3 :
f ( a h) f ( a )
1
3!
f x3 (a ).h13 3 f x2 y (a ).h12 h2 3 f xy 2 (a ).h1h22 f y3 (a ).h23 85
Optimisation Sans Contraintes
Fonction de Deux Variables Réelles
f ( a h) f ( a )
1
3!
f x3 (a ).h13 3 f x2 y (a ).h12 h2 3 f xy 2 (a ).h1h22 f y3 (a ).h23
3x y x y
H f ( x, y ) 2 2 f x3 6; f x2 y 2; f xy 2 2; f y3 (0,0) 0
x y 6 y 2
x
f (a h) f (a ) h13 h12 h2 h1h22 h1 h12 h1h2 h22
h1 1
f ( a h) f ( a ) 1 0
h2 0
h1 1
f (a h) f (a ) 1 0
2
h 0
Lorsque une fonction réelle de plusieurs variables atteint un point stationnaire (ou
critique), son gradient en ce point est nécessairement nul. Toutefois, ce point peut
être un extremum (min ou max), un point de selle ou un point dégénéré.
87
Optimisation Sans Contraintes
Fonction de Plusieurs Variables
89
Optimisation Sans Contraintes
Exercices Corrigés
Exercice A1:
Un agriculteur possède un fil de fer barbelé de longueur L . Il veut clôturer trois côtés
Exercices Corrigés
d'un champ rectangulaire (une des longueurs est déjà clôturée). Trouvez les
dimensions du champ de plus grande surface pouvant être clôturée.
Formulation :
2x y L y L 2x
S xy x( L 2 x) 2 x 2 Lx
Condition de Premier Ordre :
L L
S '( x) 0 4 x L 0 x0 y0
4 2
Condition de Second Ordre :
L
S ''( x) 4 0 x0 est un minimum 90
4
Optimisation Sans Contraintes
Exercices Corrigés
Exercice A2:
Exercices Corrigés
Formulation : x b-2x x
V ( x) (a 2 x)(b 2 x) x 4 x 3 2(a b) x 2 abx x
a-2x
Condition de Premier Ordre :
V '( x) 0 12 x 2 4(a b) x ab 0
x
(a b) a b ab
2 2
(a b) a b ab2 2
x1 ; x2 91
6 6
Optimisation Sans Contraintes
Exercices Corrigés
V '( x) 0 12 x 2 4( a b) x ab 0
Exercices Corrigés
V ''( x) 24 x 4(a b) 4 6 x (a b)
( a b)
V ''( x) 0 ssi x
6
(a b) a 2 b 2 ab
max pour x x1
6
92
Optimisation Sans Contraintes
Exercices Corrigés
Exercice A3:
une rivière. Sachant que la clôture le long de la rivière coûte « a » Dinar le mètre et
la clôture des autres côtés coûte « b » Dinar le mètre, trouvez les dimensions du
champ dont la clôture coûte le moins cher.
Formulation :
C ax b( x 2 y ) S 1
C ax b( x 2 ) (a b) x 2bS y
xy S x x x
1 2bS
C '( x) 0 (a b) 2bS 0 x
x2 ( a b) 93
Optimisation Sans Contraintes
Exercices Corrigés
4bS
C ''( x) 0 min
Exercices Corrigés
3
x
94
Optimisation Sans Contraintes
Exercices Corrigés
Exercice A4:
Un fil rigide de longueur L est coupée en deux morceaux. Un morceau est pliée en
Exercices Corrigés
forme de carré et l'autre en forme de rectangle dont la longueur est égale à 3 fois sa
largeur y. Soit x la longueur du côté du carré. On désigne par A(x), la somme des
aires du carré et du rectangle. Quand A(x) atteint-il son minimum ?
Formulation :
A( x) x 2 3 y * y x 2 3 y 2
L 4x
2
L 4 x A( x) x 3 8
2
L 4x 2 3 y y y
8
Condition de Premier Ordre :
L 4 x 1 3L
A '( x) 0 2 x 6 0 x
8 2 28 95
Optimisation Sans Contraintes
Exercices Corrigés
x L
A '( x) 2 x 3 3
Exercices Corrigés
2 8
3
A ''( x) 2 0 min
2
96
Optimisation Sans Contraintes
Exercices Corrigés
Exercice A5:
Soit un terrain rectangulaire de superficie S que l’on veut clôturer et diviser en deux
Exercices Corrigés
Formulation :
S
y S y
x F ( x) 3x 2
x
F ( x, y ) 3 x 2 y
x
Condition de Premier Ordre :
S 2
F '( x) 0 3 2 2
0 x S
x 3 97
Optimisation Sans Contraintes
Exercices Corrigés
S
F '( x) 3 2
Exercices Corrigés
x2
S
F ''( x) 4 3
0 min
x
98
Optimisation Sans Contraintes
Exercices Corrigés
Exercice A6:
Un rectangle dont la base est sur l'axe des abscisses « x » et ses sommets
Exercices Corrigés
supérieurs sur la parabole d’équation y = a – x2. Trouvez son aire maximale possible.
Formulation :
S (2 x) y
S ( x ) 2 x ( a x 2
) 2 x 3
2ax
yax 2
Exercice A7:
Exercices Corrigés
Formulation :
y
V
V axy y
ax
V x
C CB ax CC 2 xy 2ay C ( x ) CB ax 2CC x a a
ax
2C V 2C V
C ( x) aCB x C C 100
x a
Optimisation Sans Contraintes
Exercices Corrigés
x y
x2 aCB 2aCC
4CCV
C ''( x) 0 min
x3
101
Optimisation Sans Contraintes
Exercices Corrigés
Exercice A8:
Exercices Corrigés
Formulation :
Le profit vaut:
P ( x) n.x 2000 0.5n
Exercices Corrigés
1.5 x 1.5 x
P ( x) (5000 1000 ) x 2000 0.5(5000 1000 )
10% 10%
P ( x) 10000 x 2 25000 x 12000
Condition de Premier Ordre :
P '( x) 0 x 1.25
P ''( x) 0 max
103
Optimisation Sans Contraintes
Exercices Corrigés
Exercice B1:
f ( x, y ) x 2 4 y 2 2 x 4 y 3
Exercices Corrigés
f
x 2 x 2 x 1
f ; f 0 1
f y
y 8 y 4 2
2x 2
f ;
8y 4
1 0
H f 2 définie positive Minimum Local
0 4 104
Optimisation Sans Contraintes
Exercices Corrigés
Exercice B2:
f ( x, y ) x 3 y 4 2 y 2 3 x
Exercices Corrigés
f
x 3 x 2
3 x 1
f ; f 0
f 4 y 3 4 y y 0 ou y 1
y
(1,0)
(1,1)
(1, 1)
(1,0)
(1,1)
(1, 1)
105
Optimisation Sans Contraintes
Exercices Corrigés
4 y 4 y
6 0
H f (1,1) >0 (1,1) : Minimum Local
0 8
6 x 0 6 0
Hf H f (1, 1) 2 >0 (1, 1) : Minimum Local
2
0 8
0 12 y 4
6 0
H f (1,0) <0 (1,0) : Maximum Local
0 4
6 0
H f (1,1) ND (1,1) : Point de Selle
0 8
6 0
H f (1, 1) ND (1, 1) : Point de Selle 106
0 8
Optimisation Sans Contraintes
Exercices Corrigés
Exercice B3:
1
f ( x, y, z ) x 2 y 2 z 3 xy xz yz
3
Exercices Corrigés
f
x 2 x y z
2 x y z 0
f
f 2 y x z ; f 0 2 y x z 0
y
z2 x y 0
f z 2 x y
z
y 2x z y z
(0,0,0)
2(2 x z ) x z 0 x z x z
z 2 x y 0 z 2 z 2 z z 0 z ( z 2) 0 (2, 2, 2)
107
Optimisation Sans Contraintes
Exercices Corrigés
2x y z 2 1 1
Exercices Corrigés
f 2 y x z H f (0,0,0) 1 2 1
z2 x y
1 1 0
det( H1 f ) 2 0
2 1 1 2 1
det( H 2 f ) 30
H f 1 2 1 1 2
1 1 2 z
2 1 1
2 1 1 1 1 1
det( H 3 f ) 1 2 1 2 1 1 6 0
1 0 1 0 2 1
1 1 0
H f (0,0,0) : ND (0,0,0) : Point de Selle 108
Optimisation Sans Contraintes
Exercices Corrigés
Suite:
2 1 1 2 1 1
Exercices Corrigés
H f 1 2 1 H f (2, 2, 2) 1 2 1
1 1 2 z 1 1 4
det( H1 f ) 2 0
2 1
det( H 2 f ) 30
1 2
2 1 1
2 1 1 1 1 1
det( H 3 f ) 1 2 1 2 1 1 60
1 4 1 4 2 1
1 1 4
H f (0,0,0) 0 ( 2, 2, 2) : Minimum Local 109
Optimisation Sans Contraintes
Exercices Corrigés
Exercice B4:
f ( x, y ) 4 x 2 y 2 x 3 4 xy 2 x 1
Exercices Corrigés
f
x 8 xy 6 x 2
4 y 2
f ;
f 4 x 2 4 x 4 x( x 1)
y
1
x 0; y
f 0 2
x 1; y 2
110
Optimisation Sans Contraintes
Exercices Corrigés
8 xy 6 x 2 4 y 2
Exercices Corrigés
f 2
4 x 4 x 4 x ( x 1)
8 y 12 x 8 x 4
Hf
8 x 4 0
1 4 4 1
H f (0, ) ND (0, ) : Point de Selle
2 4 0 2
4 4
H f (1, 2) ND (1, 2) : Point de Selle
4 0
111
Optimisation Sans Contraintes
Exercices Corrigés
Exercice B5:
f ( x, y, z ) 1 2 y 3 y 2 2 xz 3z 2
Exercices Corrigés
f
x 2 z
f
f 2 6y ;
y
f
2 x 6 z
z
x 0
f 0 y 1/ 3
z 0
112
Optimisation Sans Contraintes
Exercices Corrigés
2z 0 0 2
Exercices Corrigés
f 2 6 y H f 0 6 0
2x 6z 2 0 6
0 0 2 det( H1 ) 0
H f (0, ,0) 0 6 0
1
det( H 2 ) 0
3 2 0 6 det( H ) 24 0
3
0 2 6 0
0 6 0 0 (6 )(4 6 2 ) 0 3 13 0
6
2 0 3 13 0
1 1
H f (0, ,0)ND (0, ,0) : Point de Selle 113
3 3
Optimisation Sans Contraintes
Exercices Corrigés
Exercice B6:
f ( x, y ) x 3 x 2 y y 2 4 y
Exercices Corrigés
f 3 x
x 3 x 2
2 xy y
x 0 2
f ; f 0 ou
f x 2 2 y 4 y 2 x 2 2 3 x 4 0
y
2
3 x 3 x
y y
2 2
x 2 3 x 4 0 x 1; x 4
3
x 1; y
2
x 4; y 6 114
Optimisation Sans Contraintes
Exercices Corrigés
3 x 2 2 xy 6x 2 y 2x
Exercices Corrigés
f 2 Hf
x 2 y 4 2 x 2
4 0
H f (0, 2) <0 (0, 2) : Maximum Local
0 2
3 3 2 3
H f (1, ) ND (1, ) : Point de Selle
2 2 2 2
12 8
H f (4,6) ND ( 4,6) : Point de Selle
8 2
115
Optimisation Sans Contraintes
Exercices Corrigés
Exercice B7:
f ( x, y ) ( x 2 y 2 )e y
Exercices Corrigés
f y
x 2 xe
f ;
f ( x 2 y 2 )e y 2 ye y
y
x 0
f 0 2
y 2 y 0
(0,0)
(0, 2)
116
Optimisation Sans Contraintes
Exercices Corrigés
2 xe y 2 2 x
Exercices Corrigés
y
f y
Hf e
( x 2
y 2
) e y
2 ye 2 x x 2 y 2 4 y 2
2 0
H f (0,0) >0 (0,0) : Minimum Local
0 2
2 2 0
H f (0, 2) e ND (0, 2) : Point de Selle
0 2
117