Matrices Hessiennes et Optimisation
Matrices Hessiennes et Optimisation
Une matrice (1,1) est juste un scalaire a. Le déterminant de cette matrice est égal à
a.
Matrice (2,2) : soit le déterminant de M s'écrit
Matrice (n,n) : soit
B=
1.1.2.
Soit M une matrice carré symétrique de dimension (n, n). Un mineur principal
k est le déterminant de la sous-matrice de M k obtenue en supprimant (n
k) lignes et les (n k) colonnes correspondantes dans M.
Exemple : Soit M =
sont: , , et .
Les trois sont: ,
et
Exemple :
Page 1
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
1.1.3.
Soit M une matrice carré symétrique de dimension (n, n). Le mineur principal diagonal
k (noté Dk) de la matrice M est le déterminant de la matrice de taille (k, k)
obtenue en éliminant les (n k) dernières lignes et (n k) dernières colonnes de la matrice
M n admet n mineurs principaux diagonaux.
Exemple : Soit M =
Exemple : Soit M1 = M2 =
On dit qu'un scalaire est une valeur propre de la matrice carrée A de dimension n
lorsqu'il existe un vecteur non nul tel que:
Théorème:
Les valeurs propres d'une matrice A sont les racines de son polynôme caractéristique.
Exemple: Déterminer les valeurs propres des matrices suivantes.
Page 2
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Si l'un des mineurs principaux diagonaux d'ordre k est non nul mais ne respecte
pas l'une de ces deux structures de signe alors M est indéfinie.
M semi-définie positive tous ses mineurs principaux (et pas seulement
diagonaux Dk) sont tous 0. (Si chaque mineur principal de M est positif ou nul)
M semi-définie négative tous ses mineurs principaux Dk (et pas seulement
diagonaux) sont alternativement 0(k impair) et 0 (k pair). Chaque mineur
principal d'ordre impair est négatif ou nul et si chaque mineur principal d'ordre
pair est positif ou nul.
[Link].2. Méthode basée sur les valeurs propres
M est définie positive ssi toutes les valeurs propres de M sont positives;
M est définie négative ssi toutes les valeurs propres de M sont négatives;
M est semi-définie positive ssi toutes les valeurs propres de M sont positives ou
nulles;
M est semi-définie négatives ssi toutes les valeurs propres de M sont négatives ou
nulles; et
M est indéfinie ssi M a une valeur propre positive et une valeur propre négative.
Exemple: Caractériser les matrices précédentes des points 2) et 4)
2. Fonctions
Soit f : U R une fonction de n variables (x1, x2, ..., xn
de définition U constitue un sous-ensemble de Rn. On supposera toujours que f est
continue et deux fois différentiable. On note la dérivée partielle de f par rapport à xi
Page 3
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
NB: Comme (i, j), la matrice hessienne de f est une matrice symétrique
d'ordre n.
JG
Page 4
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Intuitivement, un ensemble convexe est tel que tout segment reliant deux points de cet
Autrement dit, une fonction f est concave ssi le segment reliant tout couple de points
situés sur la surface définie par f est situé au-dessous de cette surface.
Exemple:
Autrement dit, une fonction f est convexe si le segment reliant tout couple de points
situés sur la surface définie par f est situé au-dessus de cette surface.
Page 5
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
f concave f convexe
Si f et g sont des fonctions concaves (resp. convexes), alors (a, b) R2+,
(a.f+b.g) est une fonction concave (resp. convexe).
Si f est une fonction concave et g est une fonction croissante et concave, alors la
fonction g(f(x)) est concave.
Si f est une fonction convexe et g est une fonction croissante et convexe, alors la
fonction g(f(x)) est convexe.
Une fonction affine est à la fois concave et convexe.
Page 6
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Propriétés importantes :
o f concave (resp. convexe) f quasi-concave (resp. quasi-convexe) (attention : la
o f quasi-concave ( f) quasi-convexe.
o La somme de deux fonctions quasi-concaves (resp. quasi-
nécessairement une fonction quasi-concave (resp. quasi-convexe).
o
fonction quasi-concave (resp. quasi-convexe) : si f est une fonction concave (resp.
convexe) et g est une fonction monotone, alors la fonction g(f(x)) est quasi
concave (resp. quasi-convexe).
Caractérisation
f quasi-concave les mineurs principaux diagonaux Dk de la matrice hessienne
bordée de f alternent en signe à partir de k = 3, avec Dk >= 0 pour k impair et Dk
<= 0 (k pair). x Rn
Les mineurs principaux diagonaux Dk de la matrice hessienne bordée de f
alternent en signe à partir de k = 2, avec Dk > 0 pour k impair et Dk < 0 (k pair)
x Rn f quasi-concave.
f quasi-convexe les mineurs principaux diagonaux Dk de la matrice hessienne
bordée de f sont tous <= 0 à partir de k = 3 x Rn
pas nécessairement vraie).
Les mineurs principaux diagonaux Dk de la matrice hessienne bordée de f sont
tous < 0 à partir de k = 2 x Rn f quasi-convexe.
Exemple : Trouver une condition suffisante sur x et y
fonction f(xy)= xy est quasi-concave. (Solution x et y sont strictement positifs)
Page 7
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
2. Optimisation statique
2.1.
minimum ou de maximum (en un mot
extremum réelles f appelée fonction objectif (par exemple
coût, profit, charges, etc.) définie sur un ensemble E
maximiser sur un ensemble E dont les éléments sont appelés les points réalisables ou
admissibles.
2.1.1. Notations
La fonction f est appelée fonction objectif. Le programme consiste à chercher les valeurs
pour laquelle la valeur de cette fonction est maximale (ou minimale) sous
les contraintes. On appelle Optimum
maximum minimum.
sans contraintes.
2.1.3. Définitions
Maximum, minimum
La valeur qui résout le programme P est un maximum de la fonction f sous les
contraintes du programme.
La valeur qui résout le programme P est un minimum de la fonction f sous les
contraintes du programme.
Optimum local
La variable x* f S
> 0 tel que f(x) <= f(x*) x S et |x x*| <=
La variable x* f S
> 0 tel que f(x) >= f(x*) x S et |x x*| >=
Optimum global
La variable x* f
S f(x) <= f(x*) x S
La variable x* f
Page 8
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
2.1.4. Remarques
Transformation de la fonction objectif
Soit g une fonction à une seule variable
solutions du programme
max f(
P
s.c. contraintes
*:
max g(f( )
P*
s.c. contraintes
Transformation des programmes de minimisation
Tout programme de minimisation peut aisément être transformé en programme de
maximisation en remplaçant la fonction objectif f par son opposée f :
min f( max -f(
2.1.5.
Pour trouver la solution
traditionnellement deux types de conditions :
Les conditions du premier ordre (CPO) sont les conditions nécessaires que doit
Les conditions du second ordre (CSO) garantissent que les conditions du premier
ordre sont suffisantes pour que
Page 9
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Exemple
Trouver max f(x) = (x 2)2+5 min f(x) = 2x2+2 x +1
2.2.2.
Soit une fonction f à n variables.
On considère le programme de maximisation P suivant :
Page 10
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Exemple
Résoudre le programme de maximisation:
P : max f(x, y) = 3xy x3 y3
x,y
Solution : (0, f et (1, 1) est un maximum local, mais
pas un maximum global de f.
2.3.
f à n variables sous m contraintes
de la forme : gj(x1, x2, ..., xn) = cj , j = 1, ...,m
Page 11
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Exemple:
max f(x,y
P x,y
s.c x+y=6
Solution : Le programme P admet un maximum local en (3, 3).
Page 12
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
vérifiée :
(a) La matrice jacobienne des fonctions contraintes gj , j = 1, ...,m, notée JG et de taille
(m, n) est de rang m x*.
(b) Les fonctions contraintes gj sont toutes linéaires.
m + n.
Page 13
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Le Lagrangien L est une fonction convexe (ce qui est le cas en particulier si f est
convexe et est concave j=1,...,m) est un minimum global.
2.4.
Kuhn et Tucker
On considère le programme de maximisation P suivant :
max f(
P
s.c g(
Soit la solution de ce programme. Deux situations sont envisageables pour chaque
contrainte j
soit gj( ) = cj : dans ce cas, on dit que la contrainte j est saturée
soit gj( ) < cj : dans ce cas, on dit que la contrainte j est non saturée
Les conditions du premier ordre que doit vérifier toute solution , du programme P
sont légèrement modifiées par rapport au cas précédent (contraintes prenant la forme
Page 14
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
= 0 et gj( ) = cj simultanément.
En pratique, la résolution des conditions de Kuhn et Tucker est compliquée par le fait
j sont
a bonne solution, il faut procéder par élimination, en
contradictions.
Page 15
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Pour pouvoir appliquer les conditions de Kuhn et Tucker évoquées ci-dessus, il suffit
de transformer le programme P en un programme de maximisation P* :
P*
2.5.
contraintes de non-négativité
Dans de nombreuses applications
considérés imposent que les variables considérées ne puissent pas être négatives (le
travail ou le capital dans la fonction de production, par exemple).
On considère le programme de maximisation P suivant :
max f(
P
s.c g(
étudié dans la section précédente (il suffit de réécrire les contraintes xi > 0 sous la forme
xi la méthode
exposée précédemment exigerait de travailler avec n + m multiplicateurs de Lagrange, ce
qui est peu commode lorsque n
difié », à partir duquel
on peut dériver des conditions de Kuhn et Tucker plus simples à manipuler.
Lagrangien modifié
Le Lagrangien modifié, noté M( , ), s'écrit :
M( , ) = f( ) -
Page 16
Cours d'Optimisation Premier Semestre de Master Sciences Economiques et de Gestion - 2019-2020
Conditions suffisantes du second ordre pour un optimum global : Cf. cas précédent.
incluant des contraintes de non-négativité est compliquée par le fait que non seulement il
faut envisager toutes les configurations possibles pour les j , mais aussi toutes les
configurations possibles pour les variables xi : elles sont strictement positives à
Page 17