La PizarraMatemática.

Máster y doctorado

Principio del máximo de Pontryagin

Un control decide cómo mover un sistema a lo largo del tiempo. Llegar al destino es una restricción; gastar poco esfuerzo es el objetivo. Pontryagin relaciona el movimiento con una variable auxiliar y una optimización instantánea. Después habrá que comprobar si el candidato es realmente el mejor.

1. Estado, control, tiempo y coste son datos diferentes del problema

El estado x(t) describe dónde está el sistema; el control u(t) es lo que elegimos.

Una dinámica x′=f(t,x,u) los relaciona.

Minimizamos J(u)=∫₀ᵀl(t,x,u)dt+g(x(T)), con estado inicial y conjunto de controles especificados.

Se declara si T está fijado, si el estado final está obligado y qué regularidad se exige. En nuestro ejemplo x′=u, los controles L² dan trayectorias absolutamente continuas y coste cuadrático finito. Una curva que gaste poco pero no cumpla el destino no es admisible.

Comprobar un control antes de calcular si es bueno

x′=u, x(0)=0, x(2)=2 y u(t)=1.

  1. Integrar

    x(t)=∫₀ᵗ1ds=t.
  2. Destino

    x(2)=2, así cumple los extremos.
  3. Coste

    Con l=u²/2, J=(1/2)∫₀²1=1.
Resultado

El control es admisible y tiene coste uno.

Lo comprobamos

Aún hace falta comparar con todos los otros controles para certificar mínimo.

El menor gasto puede incumplir el objetivo

Mismo problema, pero elegimos u=0.

  1. Trayectoria

    x(t)=0.
  2. Gasto

    Su energía es cero.

  3. Restricción

    x(2)=0≠2: no pertenece al conjunto de controles admisibles.
Resultado

Un valor menor fuera del conjunto no mejora el problema.

Lo comprobamos

El destino forma parte de la pregunta, no se revisa después de escoger una solución.

2. La convención del Hamiltoniano fija los signos

Usamos H(t,x,p,u)=p\cdot f(t,x,u)-\lambda_0l(t,x,u),\quad\lambda_0\ge0.

En una versión del principio aplicable bajo las hipótesis de regularidad y optimalidad pertinentes, existen multiplicadores no triviales con x′=H_{p}, p′=−H_{x} y u que maximiza H sobre U casi en todo instante.

p es el coestado: una variable auxiliar, no otro control que elijamos libremente. Otra convención usa +l y minimiza, cambiando el signo del coestado. No se mezclan los signos de una convención con la condición de máximo de la otra. Son condiciones necesarias para el problema declarado, no un certificado global automático.

Construir el Hamiltoniano normal del integrador

x′=u, l=u²/2 y λ₀=1.

  1. Sustituir

    H=pu−u²/2.
  2. Estado

    H_{p}=u, que recupera x′=u.
  3. Coestado

    H no depende de x, así p′=−H_{x}=0.
Resultado

El coestado es constante en este ejemplo.

Lo comprobamos

La normalización λ₀=1 se justifica en la sección siguiente.

Comprobar la convención alternativa

Con q=−p se escribe Ĥ=qu+u²/2.

  1. Mínimo

    La condición es u=−q.
  2. Recuperar

    Como q=−p, vuelve a ser u=p.
  3. Coherencia

    Minimizar Ĥ equivale a maximizar H porque Ĥ=−H con ese cambio de variable.

Resultado

Las dos convenciones coherentes dan el mismo control.

Lo comprobamos

Maximizar qu+u²/2 sobre ℝ sería otro problema, sin máximo finito.

3. Normal y anormal dependen de un multiplicador que no se puede dividir siempre

Los multiplicadores (λ₀,p) no pueden anularse todos. Si λ₀>0, dividir ambos por λ₀ conserva las ecuaciones y el máximo y permite λ₀=1: caso normal.

Si λ₀=0, se llama anormal y no se hace esa división.

En problemas restringidos pueden aparecer extremales anormales. El coste desaparece del Hamiltoniano en ese caso, pero no desaparecen las restricciones, la dinámica ni la no trivialidad. La normalidad del ejemplo cuadrático se puede verificar en lugar de presuponerla como ley universal.

Normalizar multiplicadores

λ₀=2 y p=6 para H=pu−λ₀u²/2.

  1. Dividir

    El par pasa a λ₀=1,p=3.
  2. Hamiltoniano

    El nuevo H es la mitad del anterior.

  3. Máximo

    Multiplicar por una constante positiva conserva el punto de máximo: u=3.

Resultado

Se normaliza el par completo, no solo el coste.

Lo comprobamos

Si λ₀ fuera cero no se podría realizar esta operación.

Excluir anormalidad en el integrador sin límites

U=ℝ y λ₀=0.

  1. Hamiltoniano

    Quedaría H=pu.
  2. Si p≠0

    Es no acotado superiormente en u, así no tiene control que alcance un máximo.

  3. Si p=0

    Se anularían todos los multiplicadores, prohibido por no trivialidad.

Resultado

Este problema solo admite el caso normal en sus candidatos del principio.

Lo comprobamos

La conclusión usa U=ℝ; no se extiende automáticamente a controles acotados.

4. La condición final del coestado depende de qué extremo sea libre

Si x(T) está fijado, no se impone por ello p(T)=0.

No hay variación libre del estado final que obligue a esa igualdad. Con extremo final libre y coste terminal g, en nuestra convención normal aparece p(T)=−∇g(x(T)).

Con extremos sobre una variedad, tiempo final libre o restricciones de estado cambian las condiciones de transversalidad. Hay que deducirlas del problema completo, sin inventar un dato para cerrar el sistema de estado y coestado.

Un extremo fijado puede tener coestado no nulo

x(0)=0,x(2)=6 y coste ∫u²/2.

  1. Constante

    p′=0 y el máximo libre da u=p.
  2. Destino

    x(2)=2p=6, así p=3.
  3. Final

    p(2)=3, no cero: lo fijado era el estado seis.
Resultado

El dato final de estado determina aquí el valor del coestado.

Lo comprobamos

Añadir p(2)=0 haría incompatible un problema que sí tiene solución.

Un terminal penalizado deja una condición distinta

x(0)=1,T=1, g(x(T))=x(T)²/2, extremo final libre.

  1. Relaciones

    p es constante y u=p, así x(1)=1+p.
  2. Transversalidad

    p=−x(1)=−(1+p).
  3. Resolver

    p=u=−1/2 y x(1)=1/2.
Resultado

La penalización final no obliga a llegar exactamente a cero.

Lo comprobamos

Este candidato se verificará globalmente en la lección de Bellman.

5. Maximizar exige revisar el conjunto de control y la forma de H

Para H=pu−u²/2 en U=ℝ, completar el cuadrado da p²/2−(u−p)²/2.
El máximo único es u=p.

En un intervalo, es el punto permitido más próximo a p; puede quedar en una frontera sin anular H_{u}.

El control acotado recorta el máximo libre a su intervalo permitido
Maximizar pu−u²/2; |u|≤1pu=1u=−1u*=proy[−1,1](p)p=3 → u*=1Dentro del intervalo: u*=p.
Gráfica exacta de u óptimo como función del coestado p para maximizar p u menos u cuadrado sobre dos con u en menos uno a uno. La regla es u igual p dentro del intervalo y u igual el extremo correspondiente fuera. La diagonal gris es el máximo libre u p y la curva azul es la proyección sobre el intervalo. Se usan escalas iguales en p y u; las guías horizontales marcan más y menos uno. El gráfico no afirma que todo control acotado óptimo sea bang-bang: en la zona central toma valores interiores.

Si H depende linealmente de u, se elige un extremo según el signo de su coeficiente. Si ese coeficiente se anula en un intervalo temporal, la maximización sola puede no determinar u: pueden aparecer arcos singulares y hacen falta condiciones adicionales.

Un máximo de frontera

H=3u−u²/2 con U=[−1,1].

  1. Libre

    El candidato u=3 está fuera de U.
  2. En el intervalo

    H_{u}=3−u>0 para todo u∈[−1,1].
  3. Máximo

    Se alcanza en u=1, aunque H_{u}(1)=2≠0.
Resultado

No se exige derivada cero en una frontera.

Lo comprobamos

Hay que comprobar el conjunto antes de resolver solo una ecuación estacionaria.

Una optimización lineal puede no decidir

H=cu con u∈[−1,1].

  1. c>0

    El máximo está en uno.

  2. c<0

    Está en menos uno.

  3. c=0

    Todos los controles del intervalo dan el mismo H; esta condición puntual no selecciona uno.

Resultado

El coeficiente que multiplica al control es decisivo.

Lo comprobamos

En un problema dinámico también debe cumplir las ecuaciones adjuntas; un cero puntual no prueba por sí solo un arco singular.

6. Un traslado con energía cuadrática produce un control constante

Para x′=u, l=u²/2 y extremos x(0)=0,x(T)=a, con T>0 fijo y U=ℝ, normalidad y las ecuaciones dan p constante y u=p.

Integrar x′=p da x(T)=pT=a.
Igual desplazamiento con costes de control diferentes
x′=u; x(0)=0; x(2)=2012tu=1: desplazamiento 2; J=1u=0 y 2: desplazamiento 2; J=2Misma integral, distinto cuadrado.
Dos controles en el intervalo cero dos para x prima igual u y x inicial cero. El azul es constante uno, con integral de u igual dos y coste mitad integral de u cuadrado igual uno. El verde vale cero en la primera mitad y dos en la segunda, con el mismo desplazamiento dos pero coste dos. El valor en el instante de salto no cambia ninguna integral. El área sombreada verde tiene base uno y altura dos; la línea azul cubre las dos unidades de tiempo a altura uno. La figura representa u contra tiempo, no el estado x. Cauchy–Schwarz certifica que el control constante es óptimo entre todos los controles L2 que realizan ese traslado.
Así el candidato es u=a/T y x(t)=at/T.

La energía propuesta es a²/(2T). El dibujo compara controles con la misma integral de u pero distintas integrales de u², para entender por qué concentrar el esfuerzo puede costar más.

Resolver un traslado corto

a=2,T=2.

  1. Control

    u=a/T=1.
  2. Trayectoria

    x(t)=t.
  3. Energía

    J=(1/2)·2·1²=1.
Resultado

El control uniforme realiza el traslado del dibujo.

Lo comprobamos

El coste depende tanto del desplazamiento como del tiempo disponible.

Comparar un esfuerzo concentrado

Mismos extremos, pero u=0 en [0,1) y u=2 en (1,2].

  1. Traslado

    ∫u=0·1+2·1=2.
  2. Energía

    J=(1/2)(0²·1+2²·1)=2.
  3. Comparación

    Llega al mismo sitio, pero cuesta el doble que u=1.

Resultado

La integral del cuadrado distingue perfiles de esfuerzo con la misma integral.

Lo comprobamos

El valor del control en el único instante de salto no cambia ninguna integral.

7. Una desigualdad para todos los controles prueba el mínimo global

Cualquier control admisible cumple ∫₀ᵀu=a.

Cauchy–Schwarz da a^2\le T\int_0^Tu^2dt,\qquad J(u)\ge a^2/(2T). El control constante a/T alcanza esa cota. Esto convierte el candidato en mínimo global.

La igualdad exige u constante casi en todas partes, así el control óptimo L² es único salvo cambios en conjuntos de medida cero. En otros problemas, satisfacer Pontryagin no proporciona automáticamente esa suficiencia; se necesita convexidad, una comparación o verificación apropiada.

Comprobar un traslado negativo

a=−3,T=3.

  1. Cota

    J≥9/(2·3)=3/2.
  2. Control

    u=−1 tiene integral −3.
  3. Alcanzar

    J=(1/2)·3·1=3/2.
Resultado

La prueba funciona también con desplazamientos negativos.

Lo comprobamos

El signo afecta al control y no al cuadrado del coste.

Ver el exceso de energía exactamente

u=a/T+v, con ∫₀ᵀv=0.

  1. Expandir

    u²=a²/T²+2(a/T)v+v².
  2. Cruce

    La integral del término lineal en v es cero.

  3. Resultado

    J(u)=a²/(2T)+(1/2)∫v²≥a²/(2T).
Resultado

Cualquier desviación de media cero añade energía no negativa.

Lo comprobamos

La igualdad requiere v=0 casi en todas partes.

8. Una cota de control puede hacer imposible el destino

Si |u|≤1, entonces |∫₀ᵀu|≤∫|u|≤T.
Por tanto hace falta |a|≤T.

En el integrador esta condición también es suficiente: u=a/T cumple la cota. Si la viola, ningún multiplicador crea una trayectoria admisible.

Para otros sistemas se resuelven ecuaciones acopladas y se revisan estados, controles y extremos. En un cálculo numérico hay que controlar residuos y restricciones. Aproximar un sistema necesario no certifica por sí solo la optimalidad global del problema original.

Detectar una petición inalcanzable

|u|≤1, T=2 y a=3.

  1. Máximo traslado

    La integral máxima de u es dos.

  2. Destino

    Tres supera esa cota.

  3. Conclusión

    No hay control admisible en ese tiempo.

Resultado

El problema falla por factibilidad, antes de minimizar energía.

Lo comprobamos

El máximo Hamiltoniano no sustituye la comprobación de alcanzabilidad.

El borde sigue siendo alcanzable

|u|≤1,T=2 y a=2.

  1. Promedio

    a/T=1.
  2. Control

    u=1 cumple el límite y llega al destino.
  3. Energía

    Su coste es uno, y Cauchy–Schwarz vuelve a certificar mínimo.

Resultado

Un control óptimo puede estar en la frontera durante todo el intervalo.

Lo comprobamos

Para |a|<T el mismo candidato es interior y no es bang-bang.

9. Liberar el tiempo cambia otro elemento del problema

Si T deja de estar fijado, minimizar solo la energía de un traslado no nulo permite a²/(2T)→0 al hacer T→∞. Ningún tiempo finito alcanza energía cero con a≠0. Es otro problema de alcanzabilidad del ínfimo.

Añadir un precio βT por tiempo, con β>0, equilibra duración y energía.

El mínimo sobre T>0 de a²/(2T)+βT, con a≠0, está en T=|a|/√(2β).

Una condición de Hamiltoniano para tiempo libre no se impone por analogía a un problema cuyo T estaba fijado.

Más tiempo puede bajar energía sin alcanzar cero

a=2 y tiempos T cada vez mayores.

  1. Valor

    La energía mínima para cada T es 2/T.

  2. Límite

    Tiende a cero cuando T→∞.
  3. No alcanzar

    Un control de energía cero sería cero casi en todas partes y no podría trasladar dos.

Resultado

El ínfimo del problema con tiempo libre puede no alcanzarse.

Lo comprobamos

Cada problema con un T fijo sí tiene su control óptimo.

Un precio del tiempo produce un mínimo finito

a=2 y β=1/2.

  1. Objetivo

    2/T+T/2.

  2. Comparar

    2/T+T/2−2=(T−2)²/(2T)≥0.
  3. Óptimo

    T=2, u=1 y coste total dos: una unidad de energía y una de tiempo.

Resultado

Una comparación exacta demuestra el mínimo global en T>0.

Lo comprobamos

Se ha cambiado el objetivo añadiendo βT, no se ha reutilizado sin más el de tiempo fijo.

Ahora lo resolvemos de principio a fin.

EJEMPLO RESUELTO 1

Traslado en tiempo dos

Minimiza (1/2)∫₀²u²dt con x′=u,x(0)=0,x(2)=6.

  1. Problema

    x′=u, x(0)=0,x(2)=6 y J=(1/2)∫₀²u².
  2. Candidato

    p′=0 y maximizar pu−u²/2 da u=p constante.
  3. Extremo

    2u=6, así u=3.
  4. Trayectoria

    x(t)=3t cumple ambos datos.
  5. Coste

    J=(1/2)·2·9=9.
  6. Certificado

    Cauchy–Schwarz da J≥6²/(2·2)=9; el candidato alcanza la cota.
Resultado

u=3 y coste 9.

Lo comprobamos

(1/2)·2·9=9.

EJEMPLO RESUELTO 2

Comprobar optimalidad

Demuestra el mínimo para un traslado a en tiempo T.

  1. Admisibilidad

    Todo control L² del traslado cumple ∫₀ᵀu=a.
  2. Cauchy–Schwarz

    |∫u·1|²≤(∫u²)(∫1²)=T∫u².
  3. Cota

    J≥a²/(2T).
  4. Elegir

    u=a/T constante.
  5. Alcanzar

    Su integral es a y su energía a²/(2T).

  6. Concluir

    Es globalmente óptimo y coincide con las condiciones normales de Pontryagin.

Resultado

u=a/T es globalmente óptimo.

Lo comprobamos

La igualdad coincide con las condiciones de Pontryagin.

Los símbolos que hemos usado

x / u
Estado del sistema / control admisible.
l / g
Coste corriente / coste terminal cuando existe.
p
Coestado o multiplicador asociado a la dinámica.
λ₀≥0
Multiplicador del coste; su valor distingue el caso normal y el anormal.
H=p·f−λ₀l
Hamiltoniano de la convención de maximización usada aquí.
Extremal
Trayectoria y multiplicadores que satisfacen condiciones necesarias.
Transversalidad
Condiciones en los extremos según qué estados o tiempos estén libres.

Ahora te toca a ti.

Tienes cinco ejercicios. Inténtalos; las pistas te ayudan si te atascas.

Practicar este tema →

Para ampliar