Controlar es decidir ahora para cambiar lo que ocurrirá después. Si hay azar, la decisión no puede usar un resultado que todavía no se ha observado. Resolveremos primero una decisión con dos desenlaces, después dos decisiones sucesivas y finalmente un modelo continuo completo.
Si necesitas repasar:
1. Antes de optimizar hay que declarar qué decidimos y qué queremos
El estado puede ser riqueza, inventario o error de cobertura. El control es la decisión que modifica su evolución. Fijamos estado inicial, horizonte, dinámica, coste, información y restricciones. Minimizar error cuadrático y maximizar utilidad son objetivos diferentes.
Empezaremos con , donde Z tiene media cero y varianza uno, y u se elige antes de verlo.
No suponemos normalidad para este cálculo de segundo momento.
Una decisión y dos desenlaces
μ=2, σ=1, a=3; Z vale +1 o −1 con probabilidad 1/2.
Elegir
u es un único número antes de ver Z.
Estados
X=3u si Z=+1 y X=u si Z=−1.Coste
J(u)=[(3u−3)²+(u−3)²]/2.
La misma decisión aparece en las dos ramas.
No elegimos dos números distintos después de observar el desenlace.
Evaluar una candidata
En ese problema probamos u=1.
Resultados
X=3 o X=1.Errores cuadrados
0²=0 y (−2)²=4.Promedio
J(1)=(0+4)/2=2.
El coste mide promedio del error cuadrático.
El error medio sería otra cantidad y podría cancelar signos.
2. La información admisible forma parte de las reglas
Una filtración recoge lo observado hasta cada instante. Un control progresivamente medible usa esa información y debe satisfacer las condiciones de integrabilidad y las restricciones del modelo. En tiempo discreto, la decisión de hoy no puede depender del ruido de mañana.
Saber que Z vale ±1 no permite saber cuál de esos valores ocurrirá. Permitir u=u(Z) antes de observar Z cambia el problema: se está dando información futura. Una mejora lograda así no resuelve el problema original.
Una solución tramposa que parece perfecta
En el ejemplo proponemos u=3/(2+Z).
Rama positiva
Si Z=+1, u=1 y X=3.Rama negativa
Si Z=−1, u=3 y X=3.Problema
Para elegir entre 1 y 3 se necesita saber Z antes de decidir.
El coste cero utiliza anticipación y no es admisible.
En el problema original el mismo u debía servir para las dos ramas.
Usar pasado sí está permitido
Dos ruidos ξ₁ y ξ₂ se revelan uno después del otro.
Antes de ξ₁
u₀ usa el estado inicial.
Después de ξ₁
u₁ puede usar el estado actualizado, que ya contiene ξ₁.
Antes de ξ₂
u₁ no puede usar ξ₂ todavía.
Una estrategia puede reaccionar a lo observado.
La información crece; no se prohíbe aprender del pasado.
3. Separar sesgo y varianza convierte la esperanza en una cuadrática
Como u se fija antes del ruido, EX=μu y Var(X)=σ²u².
Al elevar al cuadrado, el término cruzado tiene esperanza cero porque E(X−EX)=0.
Acertar la media puede dejar mucha dispersión. La cuadrática combina ambas partes del error.
Expandir sin saltos
μ=2, σ=1 y a=3.
Sesgo
(2u−3)²=4u²−12u+9.Varianza
Se añade u².
Sumar
J(u)=5u²−12u+9.
La misma expresión sale del promedio de las dos ramas.
El término u² adicional viene del ruido, no del objetivo 3.
Ajustar solo la media puede ser peor
Para que EX=3 elegimos u=3/2.
Sesgo
2(3/2)−3=0.Varianza
u²=9/4.Total
J(3/2)=9/4=2,25, mayor que J(1)=2.
Una media exacta no asegura el menor error cuadrático.
Falta todavía encontrar el mínimo global.
4. El vértice resuelve el problema y también muestra los casos límite
La convexidad estricta prueba que el mínimo es único entre todos los u reales.
Si μ=σ=0, X=0 siempre y cualquier u cuesta a²: no se divide por cero. Si se exige u en un intervalo cerrado, se restringe el vértice a ese intervalo. Cambiar las restricciones puede cambiar la decisión óptima.
Encontrar y comprobar el vértice
J(u)=5u²−12u+9.
Derivar
J′=10u−12, así que u*=6/5.Completar cuadrado
J=5(u−6/5)²+9/5.Mínimo
El cuadrado no es negativo: Jmin=9/5=1,8.
La identidad demuestra el mínimo global.
Es menor que 2 y que 9/4, los costes ya probados.
Un límite de posición cambia la respuesta
Ahora solo permitimos −1≤u≤1.
Vértice libre
6/5 queda fuera.
Intervalo
La cuadrática disminuye hasta 6/5; dentro de [−1,1] su mínimo está en 1.
Coste
J(1)=2, mayor que el mínimo libre 1,8.
El control restringido es u=1.
Si μ=σ=0, todos los controles admisibles empatan en a².
5. Bellman resuelve primero el último paso y luego retrocede
Supongamos para k=0,1, con ruidos independientes de valores ±1 equiprobables. Pagamos u₀²+u₁²+x₂². El estado observado resume lo necesario y podemos continuar con una decisión óptima después de cada ruido.
Con valor terminal V₂(x)=x², Bellman escribe . El término futuro es esencial: no se minimiza u² aislado. La estrategia se construye hacia atrás y se aplica hacia delante.
Resolver la última decisión
Queda un ruido y estamos en x.
Esperanza terminal
E(x+u+ξ)²=(x+u)²+1.Minimizar
u²+(x+u)²+1 tiene derivada 4u+2x; u₁*=−x/2.Valor
Sustituir da V₁(x)=x²/2+1.
El último control responde al estado que ya observamos.
La constante 1 procede de Var(ξ)=1.
Retroceder al comienzo
Usamos V₁ y estado inicial x₀=3.
Promediar
u²+E[(x+u+ξ)²/2+1]=u²+(x+u)²/2+3/2.Minimizar
3u+x=0: u₀*=−x/3; V₀(x)=x²/3+3/2.Aplicar
Con x₀=3 elegimos −1.Después x₁=1 o 3 y u₁=−1/2 o −3/2.V₀(3)=9/2.
La segunda decisión cambia después de ver ξ₁.
El coste esperado es 1+5/4+9/4=9/2, contando control inicial, control final y terminal.
6. En tiempo continuo, el ruido aporta una segunda derivada
Para una difusión y coste esperado de integral ℓ más terminal g, la ecuación HJB formal para una función de valor suave es
, con V(T,x)=g(x).
La fórmula de Itô produce el término de segunda derivada porque la variación cuadrática de Browniano no es cero. Sustituir el ruido por su media borraría ese efecto. La ecuación requiere hipótesis; primero la usamos como candidata y después verificaremos un ejemplo.
Ver la segunda derivada en una función sencilla
dX=u dt+σdW y f(x)=x².
Derivadas
f′=2x y f″=2.Itô
d(X²)=(2Xu+σ²)dt+2σX dW.Esperanza
Con la integrabilidad necesaria, el término estocástico tiene media cero, pero σ²dt permanece.
Media cero del ruido no significa efecto cero en el coste cuadrático.
El término determinista de ruido es (1/2)σ²f″.
Construir una candidata completa
Minimizamos , con dX=u dt+σdW.
Forma
Probamos V(t,x)=P(t)x²+c(t).Minimizar en u
u²+2Pxu=(u+Px)²−P²x², así que u*=−Px.Ecuaciones
HJB exige P′=P², c′=−σ²P, P(T)=1 y c(T)=0.
P=1/(1+T−t) y c=σ²log(1+T−t).
La función satisface el dato terminal x²; falta justificar la estrategia.
7. Verificar demuestra que ninguna estrategia admisible mejora la candidata
En el último modelo tomamos controles progresivamente medibles con . La dinámica lineal y esta condición dan los momentos necesarios. Aplicar Itô a nuestra V y tomar esperanzas conduce a
.
La derecha no es negativa. El control anula el integrando, tiene solución y es admisible en horizonte finito. Por eso alcanza el valor. En otros modelos hay que comprobar regularidad, existencia, crecimiento, integrabilidad y que el mínimo se alcance; una solución formal sola no basta.
Un valor numérico continuo
T=1, t=0, x=1 y σ=1.
Sustituir
P(0)=1/2 y c(0)=log2.Valor
V(0,1)=1/2+log2≈1,19315.Comparar
Sin control X₁=1+W₁ y EX₁²=2, así que el control sí reduce el coste.
La estrategia óptima es .
El valor incluye el esfuerzo de control y el coste terminal.
Comprobar también los momentos
En esa estrategia, y
.
Terminal
EX₁²=(1/2)²+1/2=3/4.Esfuerzo
E∫₀¹u²ds=log2−1/4.Sumar
3/4+log2−1/4=1/2+log2.
Los momentos verifican por otra vía el valor de HJB.
La dependencia del ruido aparece en el valor; en este caso cuadrático aditivo no cambia la fórmula del feedback.
8. Restricciones, observación parcial y otros costes exigen replantear
Si se limita una posición, el mínimo de HJB se toma sobre ese conjunto; el control libre puede dejar de ser admisible. Con costes de intervención, solvencia o fronteras aparecen problemas distintos. Cuando no se observa todo el estado, puede ser necesaria su distribución condicional dada la información disponible.
Si V no es suave, las soluciones de viscosidad ofrecen otro marco; no se imponen derivadas clásicas inexistentes. Los ejemplos anteriores explican estructuras matemáticas y no convierten un modelo académico en una regla de inversión ni resuelven cualquier dinámica financiera.
La regla libre puede violar una restricción
En el modelo continuo con T=1 se exige |u|≤1.
Candidata libre
En t=0 y x=4, u=−4/2=−2.Restricción
−2 no está en [−1,1].
Consecuencia
No se puede declarar óptima admisible esa estrategia; el valor debe resolverse con el conjunto nuevo.
Recortar el control libre sin verificar la nueva función de valor no prueba la solución dinámica.
En la cuadrática estática sí demostramos el recorte del vértice.
Ver un estado estimado no equivale a conocerlo
El estado X no se observa directamente; solo llega una señal ruidosa.
Información
La decisión usa las señales recibidas.
Estimación
Dos historiales pueden producir distintas distribuciones condicionales de X.
Modelo
Se formula el control con esa información; no se sustituye por X real como si estuviera revelado.
Observación parcial es un problema adicional de información.
El conjunto admisible se fija antes de comparar costes.
Ahora lo resolvemos de principio a fin.
EJEMPLO RESUELTO 1
Decisión cuadrática
Con μ=1,σ=2,a=5, calcula u*.
Modelo
μ=1, σ=2, a=5 y decisión anterior al ruido.Coste
J(u)=(u−5)²+4u²=5u²−10u+25.Derivar
J′=10u−10.Anular
u*=1.Global
J=5(u−1)²+20, mínimo único.Comprobar
Ajustar solo la media con u=5 daría coste 100.
u*=1.
No se elige u=5 porque la varianza penaliza esa decisión.
EJEMPLO RESUELTO 2
Evaluar el error
Para ese u*=1, calcula J.
Decisión
u*=1 en ese mismo problema.Media
EX=1.Sesgo
(1−5)²=16.Varianza
σ²u²=4.Sumar
J=16+4=20.Comprobar
Coincide con la constante mínima de 5(u−1)²+20.
J=20.
El error no se reduce solo al sesgo.
Los símbolos que hemos usado
- Estado X
- Variable del sistema cuya evolución depende del control y del ruido.
- Control u
- Decisión elegida entre acciones admisibles.
- Filtración ℱₜ
- Información disponible hasta el instante t.
- Admisibilidad
- Condiciones de información, integrabilidad y restricciones que debe cumplir una decisión.
- J(u)
- Coste esperado de una estrategia.
- V(t,x)
- Mejor coste posible desde el estado x en el tiempo t.
- HJB
- Ecuación de Hamilton–Jacobi–Bellman asociada a programación dinámica.
Ahora te toca a ti.
Tienes cinco ejercicios. Inténtalos; las pistas te ayudan si te atascas.
Practicar este tema →