Introducción al control óptimo

Control Óptimo
Introducción al Control Óptimo

Dr. Fernando Ornelas Tellez

Universidad Michoacana de San Nicolás de Hidalgo

División de Estudios de Posgrado
Facultad de Ingeniería Eléctrica

Morelia, Michoacan

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 1/47

 Introducción al control óptimo

Contenido del Curso

1 Introducción al control óptimo

2 Cálculo de variaciones y control óptimo
3 El regulador cuadrático lineal (LQR)
4 Propiedades y diseño del LQR
5 Introducción al control adaptivo
6 Estimación de parámetros (control adaptivo)
7 Sistemas de control adaptivo con modelo de referencia

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 2/47

 Introducción al control óptimo

Bibliografía

1 Desineni Subbaram Naidu, “Optimal Control Systems”, CRC

Press, 2003.
2 Brian D. O. Anderson and John B. Moore. “Optimal Control:
Linear Quadratic Methods”, Dover Publications, 2007.
3 Donald E. Kirk. “Optimal Control Theory. An introduction”,
Dover Publications Inc., 1970.
4 Huibert Kwakernaak and Raphael Sivan, “Linear Optimal
Control Systems”, John Wiley and Sons Inc., 1972.
5 Karl J. Astrom and Bjorn Wittenmark, “Adaptive Control”,
Second Edition, Addison Wesley Publishing Co., 1995.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 3/47

 Introducción al control óptimo

Contenido

1 Introducción al control óptimo

Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 4/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Introducción al control óptimo

El proceso común para el diseño de controladores clásicos es

mediante un procedimiento a prueba y error hasta alcanzar un
desempeño “aceptable” [3].
Un desempeño aceptable en términos clásicos involucra:
tiempo de subida, tiempo de asentamiento, sobre-impulso,
margenes de fase y ganancia, ancho de banda, etc.
Sin embargo, para sistemas MIMO el problema de diseño se
complica considerablemente.
Por otro lado, el enfoque de control óptimo permite la
obtención de sistemas de control eficientes y con relativa
facilidad.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 5/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Sistemas dinámicos mediante variables de estado

Ventajas
Proveen de un marco para el estudio tanto de sistemas lineales
como no lineales;
Tienen interpretación física.

–
Definition
El estado de un sistema es un conjunto de cantidades x1 , x2 , ..., xn ,
las cuales si se conocen en el instante t = t0 , entonces éstas se
pueden determinar para t ≥ t0 , considerando también que se
conocen las entras aplicadas al sistema.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 6/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Clasificación de sistemas

Lineal: ẋ = Ax + Bu con salida y = Cx + Du;

No lineal: ẋ = f (x, u) con salida y = c(x, u);
Invariante en el tiempo: ẋ = Ax + Bu, ẋ = f (x, u);
Variante en el tiempo: ẋ = A(t)x + B(t)u, ẋ = f (x, u, t).

De igual forma la salida del sistema:

Lineal: y = Cx + Du;
No lineal: y = c(x, u), etc.
Invariante en el tiempo:y = Cx + Du, y = c(x, u);
Variante en el tiempo: y = C (t)x + D(t)u, y = c(x, u, t).

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 7/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 8/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Optimización [1]

La optimización (obtener buenos resultados en determinado

sentido) siempre es deseable, por ejemplo, usar de forma
optima el tiempo, buen uso de cierto recurso, etc.

La optimización puede ser clasificada en estática y dinámica.

Optimizacion estática
Aborda el problema de controlar un sistema bajo condiciones en
estado estable (las variables no cambian en el tiempo). En este
caso, la planta o sistema esta descrito por ecuaciones algebraicas.
Las herramientas utilizadas son el calculo, multiplicadores de
Lagrange y programación lineal y no lineal.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 9/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Optimización

Optimizacion dinámica
Aborda el problema de controlar un sistema bajo condiciones
dinámicas (las variables del sistema cambian en el tiempo). En este
problema la planta está descrita por ecuaciones diferenciales o en
diferencias. Las técnicas utilizadas son programación dinámica,
calculo variacional y el principio de Pontriagyn.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 10/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Control óptimo

El control óptimo es en realidad el caso de la optimización dinámica.

Objetivo de Control Óptimo

Determinar acciones de control tal que una planta o proceso
satisfaga restricciones físicas y al mismo tiempo minimice (o
maximice) cierto criterio de desempeño [3].

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 11/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 12/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Índice de desempeño (PI)

En el análisis de control clásico, los criterios de desempeño típicos

en el dominio del tiempo son: tiempo de subida, tiempo de asen-
tamiento, sobre-impulso y error en estado estable. Mientras que en
el dominio de la frecuencia: margen de fase, margen de ganancia y
ancho de banda.
En teoría de control moderno, el problema de control óptimo (PCO)
es determinar un control que mueva al sistema hacia un objetivo o
siga una trayectoria, satisfaciendo un indice de desempeño, mismo
que puede evaluar diferentes intereses.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 13/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Índice de desempeño de tiempo mínimo

En este problema se está interesado en llevar al sistema de un punto

inicial arbitrario x(t0 ) a un punto final predeterminado x(tf ) en el
menor tiempo.
En este caso el índice puede plantearse como
Z tf
J= dt = tf − t0 = t ∗ .
t0

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 14/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Índice de desempeño de consumo óptimo de combustible

Considere el control de un avión. Sea u(t) la entrada que impulsa los

motores del avión y considere que la magnitud de tal entrada |u(t)| es
proporcional a la razón de consumo de combustible. La minimización
del consumo de combustible puede plantearse como la minimización
del siguiente índice Z tf
J= |u(t)| dt
t0

o para el caso de múltiples entradas

Z tf m
J= ∑ Ri |ui (t)| dt
t0 i=1

donde Ri es un factor que pondera el consumo de la entrada i-ésima.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 15/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Índice de desempeño de mínima energía

Considere a ui (t) como la corriente en el i-ésimo lazo de un circuito

eléctrico. Entonces ∑m 2
i=1 ui (t)ri , donde ri es la resistencia del i-ésimo
lazo, es la potencia total o la razón de gasto de energía del circui-
to. Si se desea minimizar la energía, se puede plantear el indice de
desempeño como
Z tf m
J=
t0 i=1
∑ ri ui2 (t) dt
o de manera general (utilizando matrices)
Z tf
J= u T (t) R u(t) dt
t0

donde R es una matriz definida positiva.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 16/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Índice de desempeño de seguimiento de trayectorias

De manera semejante se puede considerar el problema de seguimien-

to, al minimizar un funcional o índice de desempeño como
Z tf
J= e T (t) Q e(t) dt
t0

donde e(t) = x(t) − xd (t), x(t) es el valor actual del sistema y xd (t)
es el valor deseado para x(t). Q es una matriz semidefinida positiva.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 17/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Índice de desempeño de condición final o terminal

Este problema aborda el caso del minimizar el error entre el valor
deseado xd (tf ) y la posición del sistema x(tf ). El índice podría plan-
tearse como
J = e T (tf ) F e(tf )
donde e(tf ) = x(tf ) − xd (tf ) y F es una matriz semidefinida positiva.
Al índice anterior también se lo conoce como funcional de costo
terminal.
Índice de desempeño general

Problema de Bolza
z Z tf h }| {
i
T T T
J = e (tf ) F e(tf ) + e (t) Q e(t) + u (t) R u(t) dt
| {z } t0
Problema de Mayer | {z }
Problema de Lagrange

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 18/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Índice de desempeño: comentarios adicionales

Nota
Se pueden plantear diferentes índices de desempeño que considere
otras especificaciones, sin embargo, las mencionadas previamente
(principalmente las de tipo cuadrático) resultan en soluciones
sencillas y elegantes a los problemas de control óptimo.

Se podrían considerar en una funcional de costo especificaciones co-

mo: tiempo de subida, tiempo de asentamiento, sobre-impulso, fun-
ciones no lineales tanto para el estado como para el control; sin em-
bargo, la solución al problema de control óptimo resultaría complica-
da y cuya solución seguramente vendría dada de manera aproximada
utilizando algoritmos de optimización.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 19/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 20/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Cuando un problema está bien planteado, se tiene la mitad de su

solución.

1 La descripción (modelo matemático) del proceso a controlar.

2 Descripción de las restricciones físicas.
3 Especificación de un criterio de desempeño.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 21/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

El modelo matemático

El modelado de un sistema es paso importantes para un buen diseño

de control. Este proceso no es trivial. El objetivo es obtener un mo-
delo lo más simple posible que describa adecuadamente la dinámica
del sistema.
Los sistemas que se estudiarán en este curso estarán restringidos a
ecuaciones diferenciales ordinarias.
Considerando
x1 , x2 , ..., xn
como variables de estado del proceso y

u1 , u2 , ..., um

como las entradas de control para el proceso ...

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 22/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

El modelo matemático

Entonces un sistema dinámico puede ser descrito por un conjunto de

n ecuaciones diferenciales de primer orden como:

ẋ1 = f1 (x1 , x2 , ..., xn , u1 , u2 , ..., um , t)

ẋ2 = f2 (x1 , x2 , ..., xn , u1 , u2 , ..., um , t)
..
.
ẋn = fn (x1 , x2 , ..., xn , u1 , u2 , ..., um , t)

donde fi es una función no lineal (o bien lineal). En forma compacta

se puede representar como

ẋ = f (x, u, t)
 T  T
donde x = x1 x2 · · · xn yu= u1 u2 · · · um .
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 23/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

El modelo matemático

Ejemplo: Aceleración/desaceleración de un carro

Se desea mover el carro a partir del punto O. La distancia del carro
desde O es denotada por d . Por facilidad, represente el carro
mediante una masa puntual que puede ser acelerada usando un
dispositivo acelerador o desacelerada usando el freno.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 24/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

El modelo matemático

La ecuación diferencial que describe el movimiento del carro viene

dada por
d̈ = α + β
donde α es la acción de aceleración y β representa la acción de
desaceleración. Definiendo las variables como x1 = d , x2 = ḋ , u1 = α
y u2 = β , se puede obtener una representación en espacio de estados
como
ẋ1 = x2
ẋ2 = u1 + u2
 
0 1
o de forma matricial ẋ = Ax + Bu, donde A = y B=
0 0
 
0 0
.
1 1
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 25/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Restricciones físicas

Considerando el ejemplo de la aceleración/desaceleración del carro,

en seguida se describen algunas restricciones físicas:
Restricciones sobre la aceleración/desaceleración de un carro
Considere el problema de llevar al carro de la posición O al punto e.
Asuma que el carro parte del reposo y se detiene una vez alcanzado
el punto e.

Las restricciones para el estado pueden plantearse como:

x1 (t0 ) = 0, x1 (tf ) = e, x2 (t0 ) = 0 y x2 (tf ) = 0.
Considerando que el carro no puede ir hacia atrás, entonces:
0 ≤ x1 ≤ e y 0 ≤ x2 .
Los límites para la aceleración y desaceleración,
respectivamente, son: M1 > 0 y M2 > 0.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 26/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Restricciones físicas

Considerando el ejemplo de la aceleración/desaceleración del carro,

en seguida se describen algunas restricciones físicas:
Restricciones sobre la aceleración/desaceleración de un carro
Considere el problema de llevar al carro de la posición O al punto e.
Asuma que el carro parte del reposo y se detiene una vez alcanzado
el punto e.

Las restricciones para el estado pueden plantearse como:

x1 (t0 ) = 0, x1 (tf ) = e, x2 (t0 ) = 0 y x2 (tf ) = 0.
Considerando que el carro no puede ir hacia atrás, entonces:
0 ≤ x1 ≤ e y 0 ≤ x2 .
Los límites para la aceleración y desaceleración,
respectivamente, son: M1 > 0 y M2 > 0.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 26/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Restricciones físicas

En relación a los límites M1 y M2 , las acciones de control

deben satisfacer: 0 ≤ u1 ≤ M1 y −M2 ≤ u2 ≤ 0.
Si además, el carro cuanta con G litros de gasolina para
realizar el recorrido, se puede plantear la siguiente restricción:
Z tf
[k1 u1 + k2 x2 ] dt ≤ G
t0

la cual considera que el gasto de combustible es proporcional a

la aceleración y velocidad del carro, con constantes de
proporcionalidad k1 y k2 , respectivamente.

Definition
Una acción de control que satisface todas restricciones se dice
llamar control admisible.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 27/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Restricciones físicas

En relación a los límites M1 y M2 , las acciones de control

deben satisfacer: 0 ≤ u1 ≤ M1 y −M2 ≤ u2 ≤ 0.
Si además, el carro cuanta con G litros de gasolina para
realizar el recorrido, se puede plantear la siguiente restricción:
Z tf
[k1 u1 + k2 x2 ] dt ≤ G
t0

la cual considera que el gasto de combustible es proporcional a

la aceleración y velocidad del carro, con constantes de
proporcionalidad k1 y k2 , respectivamente.

Definition
Una acción de control que satisface todas restricciones se dice
llamar control admisible.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 27/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Restricciones físicas

Definition
Una trayectoria del estado la cual satisface las restricciones para el
estado para todo tiempo es llamada trayectoria admisible.

El concepto de admisible es muy importante en los sistemas de con-

trol, ya que este reduce el rango de valores que pueden tomar tanto
el estado como las acciones de control.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 28/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Índice de desempeño

Para evaluar el desempeño de un sistema de control cuantitativa-

mente, el ingeniero de control debe seleccionar un índice o medida
de desempeño.
Una estrategia de control óptimo está definida como una que mini-
miza (o maximiza) un índice de desempeño.
En algunos casos, plantear el indice de desempeño pude seleccionarse
para incorporar restricciones físicas, mientras que en otros problemas,
la elección del índice de desempeño es un asunto subjetivo del dise-
ñador. Por ejemplo: “llevar al sistema de un punto A a un punto B
tan rápido como sea posible”, claramente indica que lo que se desea
minimizar el el tiempo; por otro lado, “mantener la posición y velo-
cidad de un sistema cerca de cero can la menor cantidad de energía”
no sugiere un índice de desempeño único.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 29/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Índice de desempeño

Para evaluar el desempeño de un sistema de control cuantitativa-

mente, el ingeniero de control debe seleccionar un índice o medida
de desempeño.
Una estrategia de control óptimo está definida como una que mini-
miza (o maximiza) un índice de desempeño.
En algunos casos, plantear el indice de desempeño pude seleccionarse
para incorporar restricciones físicas, mientras que en otros problemas,
la elección del índice de desempeño es un asunto subjetivo del dise-
ñador. Por ejemplo: “llevar al sistema de un punto A a un punto B
tan rápido como sea posible”, claramente indica que lo que se desea
minimizar el el tiempo; por otro lado, “mantener la posición y velo-
cidad de un sistema cerca de cero can la menor cantidad de energía”
no sugiere un índice de desempeño único.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 29/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Componentes de un problema de control óptimo

Índice de desempeño

Ejemplo: Índice de desempeño para el carro

Suponga que el objetivo es que el carro alcance el punto e tan
rápido como sea posible.

Entonces el indice de desempeño podría plantearse como

J = tf − t0 .

Un índice de desempeño general a considerarse puede ser

Z tf
J = h (x(tf ), tf ) + g (x, u, t) dt
t0

donde h y g son funciones escalares. El tiempo tf puede ser especi-

ficado o “libre”, dependiendo del planteamiento del problema.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 30/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Planteamiento del problema de control óptimo

Problema de control óptimo

Determinar un control admisible u ∗ el cual cause que el sistema

ẋ = f (x, u, t)

siga una trayectoria admisible x ∗ que minimice el índice de

desempeño Z tf
J = h (x(tf ), tf ) + g (x, u, t) dt.
t0

u ∗ es llamado control óptimo y x ∗ una trayectoria óptima.

Comentarios adicionales: no es posible determinar con anticipación

si un control óptimo existe, y además podría no ser único.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 31/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Planteamiento del problema de control óptimo

Comentarios adicionales

Cuando se dice que u ∗ causa que el índice de desempeño es minimi-

zado, esto significa que
Z tf
J ∗ , h (x ∗ (tf ), tf ) + g (x ∗ , u ∗ , t) dt
t0
Z tf
≤ h (x(tf ), tf ) + g (x, u, t) dt
t0

para todo u y x. La desigualdad anterior establece que un control

óptimo y su trayectoria produce un valor del índice de desempeño
más pequeño o igual al índice de desempeño para cualquier otro
control admisible y su respectiva trayectoria.
Por tanto, es deseable determinar el mínimo global de J y no un
resultado de carácter local.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 32/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Planteamiento del problema de control óptimo

Comentarios adicionales

Definition
Si se encuentra una relación funcional de la forma

u ∗ = k(x, t)

para el control óptimo, entonces k es llamada ley de control óptima.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 33/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Outline

1 Introducción al control óptimo

Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Formulación del problema de control óptimo
Revisión histórica

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 34/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo [1]

Cálculo de variaciones

El control óptimo, bajo la técnica de calculo de variaciones, busca

determinar una función la cual sea un extremo (máximo o mínimo) de
una funcional. Muchos científicos han contribuido a su desarrollo bajo
diferentes enfoques: cálculo de variaciones, programación dinámica
de Bellman, principio de Pontriagyn.
Se iniciará esta reseña histórica con los trabajos de Bernoulli, con-
siderando los indicios matemáticos para dar solución al problema de
control óptimo, aunque en épocas anteriores ya se tenia el concepto
de optimizar o elegir la mejor solución a un problema.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 35/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo

Cálculo de variaciones

En 1699, Johannes Bernoulli (1667-1748) planteo el problema

de la braquistócrona: encontrar la trayectoria para el descenso
más rápido de una partícula entre dos puntos, no considerando
que los puntos estén sobre la horizontal o sobre la vertical.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 36/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo

Cálculo de variaciones

El problema de la braquistócrona inicialmente fue bosquejado

por Galileo (1564-1642) in 1638, y posteriormente fue resuelto
por Bernoulli, su hermano Jacob Bernoulli (1654-1705), por
Gottfried Leibniz (1646-1716) y de forma anónima por Isaac
Newton (1642-1727).
Leonard Euler (1707-1783) en colaboración con John
Bernoulli, y que al mismo tiempo influenciaron sobre
Joseph-Louis Lagrange (1736-1813), realizaron contribuciones
importantes al campo, quienes de forma elegante resolvieron
problemas de control óptimo usando el método de la primera
variación. Lo anterior lleva a Euler en 1755 a introducir el
concepto de cálculo de variaciones.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 37/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo

Cálculo de variaciones

Posteriormente, el calculo de la primera variación (condición

necesaria para la optimalidad) fue llamada ecuación de
Euler-Lagrange.
Lagrange introdujo también el método del multiplicador
(multiplicadores de Lagrange), el cual es una de las
herramientas más sólidas para resolver problemas de
optimización.
Las condiciones suficientes para la determinación de extremos
de funcionales fue desarrollado por Andrien Marie Legendre
(1752-1833) en 1786, mediante la segunda variación.
Carl Gustav Jacob Jacobi (1804-1851) en 1836 introdujo un
análisis más riguroso de las condiciones de suficiencia, misma
que posteriormente fue llamada condición de Legendre-Jacobi.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 38/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo

Cálculo de variaciones

Sir William Rowan Hamilton (1788-1856) realizó

contribuciones en mecánica, describiendo el movimiento de
una partícula en el espacio. En 1838 Jacobi modificó los
resultados de Hamilton, lo que llevo al desarrollo de la
ecuación de Hamilton-Jacobi.
La ecuación de Hamilton-Jacobi influencio considerablemente
en el calculo de variaciones y programación dinámica, control
optimo y áreas de la mecánica.
Adolph Mayer planteo de una manera elegante el problema
general del calculo de variaciones.
En 1913, Bolza generalizo los problemas planteados por
Lagrange y Mayer para el problema de variaciones.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 39/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo [1]

Teoría de control óptimo (LQR)

El LQR tiene sus orígenes en el trabajo de N. Wiener sobre

filtrado en promedio cuadrático utilizado durante la segunda
guerra mundial (1940-1945).
Wiener resolvió el problema del diseño de filtros que minimizan
un criterio
 de error cuadrático medio de la forma
J = E e 2 (t) , donde e(t) es el error y E {x} representa el
valor esperado para la variable aleatoria x.
R. Bellman in 1957 introdujo la programación dinámica para
resolver problemas de control óptimo en tiempo discreto.
La contribución más importante al control óptimo fue la de L.
S. Pontryagin (Rusia) en 1956 y su grupo, al desarrollar el
principio del máximo.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 40/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo

Teoría de control óptimo (LQR)

En 1960, R. E. Kalman (83 años a la fecha 2013) desarrolla la

teoría del LQR y LQG para el diseño de controladores por retro
de estado.
Kalman introdujo también la representacion en espacio de
estados para un sistema dinámico y definió la controlabilidad y
la observabilidad en ese marco.
Lo anterior derivo en el filtro de Kalman (para sistemas
discretos) y en el filtro de Kalman-Bucy (para sistemas
continuos).
La ecuación de Riccati aparece en la solución para el filtro de
Kalman y control óptimo (basado programación dinámica).

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 41/47

 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Revisión histórica del desarrollo del control óptimo

Teoría de control óptimo (LQR)

J. F. Riccati (1676-1754) publico sus resultados en 1724,

donde describía la solución para algunas ecuaciones
diferenciales no lineales. Este resultado tomó importancia
después de más de 200 años.
El LQR, en general, no se considera como robusto ante
perturbaciones, de ahí que en los años 1980 surge el control
H∞ por G. Zames. Al control LQR también se le etiqueto como
H2 .
Control clásico y control moderno
La teoría de control clásico analiza los sistemas (SISO
particularmente) en el dominio de la frecuencia, mientras que el
control moderno trabaja en el dominio del tiempo para sistemas
SISO y MIMO, lineales y no lineales, etc.
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 42/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Introducción al control óptimo

Ventajas del Control Óptimo: Caso Lineal

La estabilidad del control óptimo lineal (LQR) en lazo cerrado

es garantizada si el sistema de control cumple que: R > 0,
Q ≥ 0, el par (A, B) es estabilizable y el par (A, C ) es
detectable, donde Q = C T C [2].
El control óptimo (LQR), “por default” provee de un margen
de ganancia infinito, i.e., GM = ∞ y un margen de fase (FM)
de al menos 60◦ . Lo anterior se puede considerar como
“buenos” márgenes de estabilidad, y son propiedades de
“robustez” que todo diseño de control debería proveer. La
primera propiedad permitiría aumentar una ganancia
(teóricamente) infinita sin que el sistema se desestabilice. Por
otro lado, la segunda propiedad permite tener ciertas
variaciones paramétricas o retardos en el sistema de control,
los cuales afectarían el margen de fase del sistema, sin llegar a
desestabilizar al sistema
Dr. Fernando de control
Ornelas Tellez [2]. Division de Estudios de Posgrado
UMSNH-FIE 43/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Introducción al control óptimo

Ventajas del Control Óptimo: Caso Lineal

Un LQR tiene un índice de funcionamiento (funcional de costo)

que justamente evalúa el desempeño del sistema de control.
La sintonización del LQR se hace regularmente a prueba y
error, pero cumpliendo las condiciones del punto uno, no se
afectaría la estabilidad en lazo cerrado, independientemente de
la elección de Q y R [2].
Los valores Qii y Rii son seleccionados de acuerdo a la
importancia relativa de cada variable de estado y de control.
Lo anterior permite que la selección de las matrices Q y R, sea
un método intuitivo para determinar su valor.
Existen métodos (Reglas de Bryson), que incluso permiten
incorporar restricciones para las variables de estado y de
control, mediante una elección adecuada de los valores Qii y
Rii .
Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 44/47
 Problema de optimización y control óptimo
Índice de desempeño y las restricciones
Introducción al control óptimo
Formulación del problema de control óptimo
Revisión histórica

Introducción al control óptimo

Ventajas del Control Óptimo: Caso Lineal

En los diseños tradicionales (ubicación de polos, por ejemplo)

para un sistema MIMO, el seleccionar la ganancia K en un
controlador u = −Kx, tiene múltiples soluciones, es decir, en
general se pueden tener varias K ’s, para ubicar los polos en el
mismo lugar. ¿Cuál ganancia es la mejor?
El control óptimo busca mover al sistema mediante una
entrada, tal que la energía necesario para lograrlo sea mínima
[3].
La solución al problema de control óptimo es sumamente
elegante y formal.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 45/47

 Appendix For Further Reading

For Further Reading I

Desineni Subbaram Naidu,

Optimal Control Systems,
CRC Press, 2003.
Brian D. O. Anderson and John B. Moore,
Optimal Control: Linear Quadratic Methods,
Dover Publications, 2007.
Donald E. Kirk,
Optimal Control Theory. An introduction,
Dover Publications, 1970.
Huibert Kwakernaak and Raphael Sivan,
Linear Optimal Control Systems,
John Wiley and Sons Inc., 1972.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 46/47

 Appendix For Further Reading

For Further Reading II

S. Someone.
On this and that.
Journal on This and That. 2(1):50–100, 2000.

Dr. Fernando Ornelas Tellez UMSNH-FIE Division de Estudios de Posgrado 47/47