Programación dinámica y ecuación de Hamilton–Jacobi–Bellman

Para x′=f(s,x,u) y coste J=∫ₜᵀl(s,x,u)ds+g(x(T)), definimos V(t,x) como el ínfimo entre controles admisibles que comienzan en ese instante y estado. No es el coste de una estrategia cualquiera.

En el instante final, V(T,x)=g(x): ya no queda intervalo para actuar. Si se exige llegar exactamente a un estado final, es otra restricción y el valor puede ser infinito en parte del dominio. Una penalización terminal finita deja negociar gasto y resultado final.

Para h>0 con t+h≤T, la identidad de programación dinámica compara el coste en [t,t+h] más V(t+h,x(t+h)). Bajo las condiciones que permiten concatenar controles admisibles, optimizar esa suma coincide con optimizar todo el horizonte.

El estado tiene que incluir la información relevante para las decisiones futuras. La acción de menor coste instantáneo puede dejar un estado caro después. El valor de continuación es precisamente la forma de incluir esa consecuencia.

Suponiendo V suficientemente diferenciable y condiciones que justifiquen el paso al límite en Bellman, expandimos x(t+h)=x+hf(t,x,u)+o(h). El incremento de valor aporta hV_t+h∇V·f y el gasto aporta hl.

Cancelar V(t,x), dividir por h y optimizar conduce clásicamente a . La ecuación formal no identifica por sí sola el valor: se construirá una cota para todos los controles y uno que la alcance.

Tomamos x′=u, controles reales L², coste corriente u²/2 y g(x)=x²/2, con T finito.

La ecuación reducida es −²/2=0 y la ley candidata u*=−.

Penalizar x(T)² no obliga a llegar a cero. Permite equilibrar cuánto cuesta actuar con cuánto cuesta dejar un estado residual. Para el ejemplo de Pontryagin con destino exacto, la función de valor y las condiciones de frontera serían diferentes.

Por tanto .

Diferenciar y sustituir comprueba la ecuación y el terminal, pero todavía hay que verificar que representa el ínfimo.

La ley u=− anula el integrando.

Su trayectoria es x(s)=x(t)(1+T−s)/(1+T−t); el control resulta constante a lo largo de esa trayectoria particular y es L². Así alcanza la cota y V es el valor óptimo global.

La fórmula u*(s,z)=−z/(1+T−s) se puede usar desde cualquier estado actual z. Un control abierto calculado para un inicio concreto solo describe su trayectoria prevista. V organiza una familia de decisiones, no solo una lista de números para un caso.

Se comprueba la admisibilidad del sistema cerrado. Con límites de control, el mínimo puntual puede saturarse y la fórmula global del valor cambia. La derivada de la antigua V no se reutiliza sin verificar una nueva HJB y sus condiciones.

La función de valor puede ser continua y no diferenciable. Para viscosidad se fija una expresión F=0 y se compara con funciones suaves que tocan por arriba o abajo: una subsolución exige F≤0 en contactos por arriba y una supersolución F≥0 por abajo. Cambiar F por −F sin cambiar la definición altera esa selección.

En el problema terminal de minimización se usa la orientación F=−−infᵤ{l+∇V·f}=0 para esas desigualdades. Bajo condiciones apropiadas, comparación y las condiciones de frontera y crecimiento identifican una solución única. Una solución débil arbitraria no ofrece automáticamente esa garantía.

Con una difusión dX=f ds+σdB aparece en la HJB clásica el término (1/2)tr(σσᵀD²V), por Itô. Fronteras, restricciones de estado y terminales distintos aportan otras condiciones. No se añade solo un símbolo de ruido a una verificación determinista.

Los métodos numéricos deben converger a la solución pertinente, respetando el régimen y las propiedades que exige su teorema de convergencia. Un residuo pequeño en unos puntos de una malla no garantiza por sí solo precisión del valor ni del control en todo el dominio.