Optimización
Multidimensional
No Restringida
+ Estos métodos van desde procedimientos muy burdos hasta
técnicas más elegantes que intentan aprovechar la naturaleza
de la función.
+ Búsqueda aleatoria
Un simple ejemplo de los métodos burdos es el método de
la búsqueda aleatoria. Como su nombre lo indica, dicho
método evalúa en forma repetida la función con los valores
seleccionados aleatoriamente de la variable independiente. Si
MÉTODOS el método se lleva a cabo con un número suficiente de
muestras, el óptimo eventualmente se localizará.
DIRECTOS
+ Búsquedas univariadas y búsquedas patrón
La estrategia básica del método de búsqueda univariada
consiste en trabajar sólo con una variable a la vez, para
mejorar la aproximación, mientras las otras se mantienen
constantes. Puesto que únicamente cambia una variable, el
problema se reduce a una secuencia de búsquedas en una
dimensión, que se resuelven con una diversidad de métodos.
+ Como su nombre lo indica, los métodos con gradiente utilizan en forma
explícita información de la derivada para generar algoritmos eficientes
que localicen el óptimo.
Métodos avanzados del gradiente
+ Método de gradientes conjugados (Fletcher-Reeves). Un método de
optimización, que usa gradientes conjugados para definir la dirección de
búsqueda, es cuadráticamente convergente. Esto también asegura que el
MÉTODOS CON método optimizará una función cuadrática exactamente en un número
finito de pasos sin importar el punto de inicio.
GRADIENTE + Método de Newton
El método de Newton para una sola variable se puede extender a los
casos multivariados. Este método, de nuevo, se comporta mejor que el
método del ascenso de máxima inclinación Sin embargo, observe que
este método requiere tanto del cálculo de las segundas derivadas como
de la inversión matricial, en cada iteración. Por lo que el método no es
muy útil en la práctica para funciones con gran número de variables.
Además, el método de
Newton quizá no converja si el punto inicial no está cerca del óptimo.
Método de Marquardt.
Se sabe que el método del ascenso de máxima inclinación aumenta el valor de la función,
aun si el punto inicial está lejos del óptimo. Por otro lado, ya se describió el método de
Newton, que converge con rapidez cerca del máximo. El método de Marquardt usa el método
del descenso de máxima inclinación cuando x está lejos de x*, y el método de Newton
cuando x está cerca de un óptimo. Esto se puede lograr al modificar la diagonal del hessiano
en la ecuación