La PizarraMatemática.

Máster y doctorado

Control estocástico en modelos financieros

Controlar es decidir ahora para cambiar lo que ocurrirá después. Si hay azar, la decisión no puede usar un resultado que todavía no se ha observado. Resolveremos primero una decisión con dos desenlaces, después dos decisiones sucesivas y finalmente un modelo continuo completo.

1. Antes de optimizar hay que declarar qué decidimos y qué queremos

El estado puede ser riqueza, inventario o error de cobertura. El control es la decisión que modifica su evolución. Fijamos estado inicial, horizonte, dinámica, coste, información y restricciones. Minimizar error cuadrático y maximizar utilidad son objetivos diferentes.

Empezaremos con X=u(\mu+\sigma Z), donde Z tiene media cero y varianza uno, y u se elige antes de verlo.

Para acercarnos a a minimizamos J(u)=\mathbb E[(X-a)^2].

No suponemos normalidad para este cálculo de segundo momento.

Una decisión y dos desenlaces

μ=2, σ=1, a=3; Z vale +1 o −1 con probabilidad 1/2.

  1. Elegir

    u es un único número antes de ver Z.

  2. Estados

    X=3u si Z=+1 y X=u si Z=−1.
  3. Coste

    J(u)=[(3u−3)²+(u−3)²]/2.
Resultado

La misma decisión aparece en las dos ramas.

Lo comprobamos

No elegimos dos números distintos después de observar el desenlace.

Evaluar una candidata

En ese problema probamos u=1.

  1. Resultados

    X=3 o X=1.
  2. Errores cuadrados

    0²=0 y (−2)²=4.
  3. Promedio

    J(1)=(0+4)/2=2.
Resultado

El coste mide promedio del error cuadrático.

Lo comprobamos

El error medio sería otra cantidad y podría cancelar signos.

2. La información admisible forma parte de las reglas

Una filtración (\mathcal F_t) recoge lo observado hasta cada instante. Un control progresivamente medible usa esa información y debe satisfacer las condiciones de integrabilidad y las restricciones del modelo. En tiempo discreto, la decisión de hoy no puede depender del ruido de mañana.

Saber que Z vale ±1 no permite saber cuál de esos valores ocurrirá. Permitir u=u(Z) antes de observar Z cambia el problema: se está dando información futura. Una mejora lograda así no resuelve el problema original.

Una solución tramposa que parece perfecta

En el ejemplo proponemos u=3/(2+Z).

  1. Rama positiva

    Si Z=+1, u=1 y X=3.
  2. Rama negativa

    Si Z=−1, u=3 y X=3.
  3. Problema

    Para elegir entre 1 y 3 se necesita saber Z antes de decidir.

Resultado

El coste cero utiliza anticipación y no es admisible.

Lo comprobamos

En el problema original el mismo u debía servir para las dos ramas.

Usar pasado sí está permitido

Dos ruidos ξ₁ y ξ₂ se revelan uno después del otro.

  1. Antes de ξ₁

    u₀ usa el estado inicial.

  2. Después de ξ₁

    u₁ puede usar el estado actualizado, que ya contiene ξ₁.

  3. Antes de ξ₂

    u₁ no puede usar ξ₂ todavía.

Resultado

Una estrategia puede reaccionar a lo observado.

Lo comprobamos

La información crece; no se prohíbe aprender del pasado.

3. Separar sesgo y varianza convierte la esperanza en una cuadrática

Como u se fija antes del ruido, EX=μu y Var(X)=σ²u².

Escribimos X−a=(X−EX)+(EX−a).

Al elevar al cuadrado, el término cruzado tiene esperanza cero porque E(X−EX)=0.

Por tanto J(u)=(\mu u-a)^2+\sigma^2u^2=(\mu^2+\sigma^2)u^2-2\mu au+a^2.

Acertar la media puede dejar mucha dispersión. La cuadrática combina ambas partes del error.

Expandir sin saltos

μ=2, σ=1 y a=3.

  1. Sesgo

    (2u−3)²=4u²−12u+9.
  2. Varianza

    Se añade u².

  3. Sumar

    J(u)=5u²−12u+9.
Resultado

La misma expresión sale del promedio de las dos ramas.

Lo comprobamos

El término u² adicional viene del ruido, no del objetivo 3.

Ajustar solo la media puede ser peor

Para que EX=3 elegimos u=3/2.

  1. Sesgo

    2(3/2)−3=0.
  2. Varianza

    u²=9/4.
  3. Total

    J(3/2)=9/4=2,25, mayor que J(1)=2.
Resultado

Una media exacta no asegura el menor error cuadrático.

Lo comprobamos

Falta todavía encontrar el mínimo global.

4. El vértice resuelve el problema y también muestra los casos límite

Si μ²+σ²>0, la segunda derivada es 2(μ²+σ²)>0.
Anular la primera da u_* =\mu a/(\mu^2+\sigma^2).

La convexidad estricta prueba que el mínimo es único entre todos los u reales.

El mínimo cuadrático equilibra media y dispersión
Elegir antes del ruidoJ(u)=5(u−6/5)²+9/56/5uMínimo: u=6/5, J=9/5Solo ajustar la media:u=3/2, J=9/4El sesgo y la variación cuentan.
Gráfica exacta de J de u igual cinco por u menos seis quintos al cuadrado más nueve quintos, para un modelo con mu dos, sigma uno y objetivo tres. El eje horizontal representa la decisión anterior al ruido. El vértice verde está en u seis quintos y coste nueve quintos. La decisión roja u tres medios ajusta la media al objetivo pero tiene coste nueve cuartos, más alto. Ambos puntos usan los mismos ejes y escalas. El gráfico representa el coste esperado, no una trayectoria realizada de X. Si la decisión se restringe al intervalo de menos uno a uno, el mínimo admisible es u uno, de coste dos.

Si μ=σ=0, X=0 siempre y cualquier u cuesta a²: no se divide por cero. Si se exige u en un intervalo cerrado, se restringe el vértice a ese intervalo. Cambiar las restricciones puede cambiar la decisión óptima.

Encontrar y comprobar el vértice

J(u)=5u²−12u+9.

  1. Derivar

    J′=10u−12, así que u*=6/5.
  2. Completar cuadrado

    J=5(u−6/5)²+9/5.
  3. Mínimo

    El cuadrado no es negativo: Jmin=9/5=1,8.
Resultado

La identidad demuestra el mínimo global.

Lo comprobamos

Es menor que 2 y que 9/4, los costes ya probados.

Un límite de posición cambia la respuesta

Ahora solo permitimos −1≤u≤1.

  1. Vértice libre

    6/5 queda fuera.

  2. Intervalo

    La cuadrática disminuye hasta 6/5; dentro de [−1,1] su mínimo está en 1.

  3. Coste

    J(1)=2, mayor que el mínimo libre 1,8.
Resultado

El control restringido es u=1.

Lo comprobamos

Si μ=σ=0, todos los controles admisibles empatan en a².

5. Bellman resuelve primero el último paso y luego retrocede

Supongamos x_{k+1}=x_k+u_k+\xi_{k+1} para k=0,1, con ruidos independientes de valores ±1 equiprobables. Pagamos u₀²+u₁²+x₂². El estado observado resume lo necesario y podemos continuar con una decisión óptima después de cada ruido.

La segunda decisión usa el primer ruido, nunca el segundo antes de verlo
Decidir, observar, decidirx₀=3; u₀=−1ξ₁=−1ξ₁=+1x₁=1x₁=3u₁=−1/2u₁=−3/2Después llega ξ₂=±1.Coste esperado total: 9/2u₁ usa x₁, no el futuro ξ₂.
Árbol de información de un control de dos etapas, con estado siguiente igual estado actual más control más ruido. Los ruidos independientes valen menos uno y uno con probabilidad un medio. Desde estado tres se elige el control inicial menos uno. Después se observa el primer ruido y el estado pasa a uno o tres; el segundo control óptimo es menos un medio o menos tres medios respectivamente. Solo entonces se revela el segundo ruido. El coste incluye ambos controles al cuadrado y estado terminal al cuadrado. Bellman da valor inicial nueve medios. Las ramas separan cuándo se conoce cada ruido y muestran por qué reaccionar al pasado es admisible.

Con valor terminal V₂(x)=x², Bellman escribe V_k(x)=\min_u\{u^2+\mathbb E[V_{k+1}(x+u+\xi)]\}. El término futuro es esencial: no se minimiza u² aislado. La estrategia se construye hacia atrás y se aplica hacia delante.

Resolver la última decisión

Queda un ruido y estamos en x.

  1. Esperanza terminal

    E(x+u+ξ)²=(x+u)²+1.
  2. Minimizar

    u²+(x+u)²+1 tiene derivada 4u+2x; u₁*=−x/2.
  3. Valor

    Sustituir da V₁(x)=x²/2+1.
Resultado

El último control responde al estado que ya observamos.

Lo comprobamos

La constante 1 procede de Var(ξ)=1.

Retroceder al comienzo

Usamos V₁ y estado inicial x₀=3.

  1. Promediar

    u²+E[(x+u+ξ)²/2+1]=u²+(x+u)²/2+3/2.
  2. Minimizar

    3u+x=0: u₀*=−x/3; V₀(x)=x²/3+3/2.
  3. Aplicar

    Con x₀=3 elegimos −1.
    Después x₁=1 o 3 y u₁=−1/2 o −3/2.
    V₀(3)=9/2.
Resultado

La segunda decisión cambia después de ver ξ₁.

Lo comprobamos

El coste esperado es 1+5/4+9/4=9/2, contando control inicial, control final y terminal.

6. En tiempo continuo, el ruido aporta una segunda derivada

Para una difusión dX=b(t,X,u)\,dt+\sigma(t,X,u)\,dW y coste esperado de integral ℓ más terminal g, la ecuación HJB formal para una función de valor suave es V_t+\inf_u\{b\cdot\nabla V+\tfrac12\operatorname{tr}(\sigma\sigma^{\mathsf T}D^2V)+\ell\}=0, con V(T,x)=g(x).

La fórmula de Itô produce el término de segunda derivada porque la variación cuadrática de Browniano no es cero. Sustituir el ruido por su media borraría ese efecto. La ecuación requiere hipótesis; primero la usamos como candidata y después verificaremos un ejemplo.

Ver la segunda derivada en una función sencilla

dX=u dt+σdW y f(x)=x².

  1. Derivadas

    f′=2x y f″=2.
  2. Itô

    d(X²)=(2Xu+σ²)dt+2σX dW.
  3. Esperanza

    Con la integrabilidad necesaria, el término estocástico tiene media cero, pero σ²dt permanece.

Resultado

Media cero del ruido no significa efecto cero en el coste cuadrático.

Lo comprobamos

El término determinista de ruido es (1/2)σ²f″.

Construir una candidata completa

Minimizamos \mathbb E[X_T^2+\int_t^T u^2ds], con dX=u dt+σdW.

  1. Forma

    Probamos V(t,x)=P(t)x²+c(t).
  2. Minimizar en u

    u²+2Pxu=(u+Px)²−P²x², así que u*=−Px.
  3. Ecuaciones

    HJB exige P′=P², c′=−σ²P, P(T)=1 y c(T)=0.
Resultado

P=1/(1+T−t) y c=σ²log(1+T−t).

Lo comprobamos

La función satisface el dato terminal x²; falta justificar la estrategia.

7. Verificar demuestra que ninguna estrategia admisible mejora la candidata

En el último modelo tomamos controles progresivamente medibles con \mathbb E\int_t^T u_s^2ds<\infty. La dinámica lineal y esta condición dan los momentos necesarios. Aplicar Itô a nuestra V y tomar esperanzas conduce a J(u)-V(t,x)=\mathbb E\int_t^T(u_s+P(s)X_s)^2ds.

La derecha no es negativa. El control u_s=-P(s)X_s anula el integrando, tiene solución y es admisible en horizonte finito. Por eso alcanza el valor. En otros modelos hay que comprobar regularidad, existencia, crecimiento, integrabilidad y que el mínimo se alcance; una solución formal sola no basta.

Un valor numérico continuo

T=1, t=0, x=1 y σ=1.

  1. Sustituir

    P(0)=1/2 y c(0)=log2.
  2. Valor

    V(0,1)=1/2+log2≈1,19315.
  3. Comparar

    Sin control X₁=1+W₁ y EX₁²=2, así que el control sí reduce el coste.

Resultado

La estrategia óptima es u_s=-X_s/(2-s).

Lo comprobamos

El valor incluye el esfuerzo de control y el coste terminal.

Comprobar también los momentos

En esa estrategia, \mathbb E X_s=(2-s)/2 y \operatorname{Var}(X_s)=s(2-s)/2.

  1. Terminal

    EX₁²=(1/2)²+1/2=3/4.
  2. Esfuerzo

    E∫₀¹u²ds=log2−1/4.
  3. Sumar

    3/4+log2−1/4=1/2+log2.
Resultado

Los momentos verifican por otra vía el valor de HJB.

Lo comprobamos

La dependencia del ruido aparece en el valor; en este caso cuadrático aditivo no cambia la fórmula del feedback.

8. Restricciones, observación parcial y otros costes exigen replantear

Si se limita una posición, el mínimo de HJB se toma sobre ese conjunto; el control libre puede dejar de ser admisible. Con costes de intervención, solvencia o fronteras aparecen problemas distintos. Cuando no se observa todo el estado, puede ser necesaria su distribución condicional dada la información disponible.

Si V no es suave, las soluciones de viscosidad ofrecen otro marco; no se imponen derivadas clásicas inexistentes. Los ejemplos anteriores explican estructuras matemáticas y no convierten un modelo académico en una regla de inversión ni resuelven cualquier dinámica financiera.

La regla libre puede violar una restricción

En el modelo continuo con T=1 se exige |u|≤1.

  1. Candidata libre

    En t=0 y x=4, u=−4/2=−2.
  2. Restricción

    −2 no está en [−1,1].

  3. Consecuencia

    No se puede declarar óptima admisible esa estrategia; el valor debe resolverse con el conjunto nuevo.

Resultado

Recortar el control libre sin verificar la nueva función de valor no prueba la solución dinámica.

Lo comprobamos

En la cuadrática estática sí demostramos el recorte del vértice.

Ver un estado estimado no equivale a conocerlo

El estado X no se observa directamente; solo llega una señal ruidosa.

  1. Información

    La decisión usa las señales recibidas.

  2. Estimación

    Dos historiales pueden producir distintas distribuciones condicionales de X.

  3. Modelo

    Se formula el control con esa información; no se sustituye por X real como si estuviera revelado.

Resultado

Observación parcial es un problema adicional de información.

Lo comprobamos

El conjunto admisible se fija antes de comparar costes.

Ahora lo resolvemos de principio a fin.

EJEMPLO RESUELTO 1

Decisión cuadrática

Con μ=1,σ=2,a=5, calcula u*.

  1. Modelo

    μ=1, σ=2, a=5 y decisión anterior al ruido.
  2. Coste

    J(u)=(u−5)²+4u²=5u²−10u+25.
  3. Derivar

    J′=10u−10.
  4. Anular

    u*=1.
  5. Global

    J=5(u−1)²+20, mínimo único.
  6. Comprobar

    Ajustar solo la media con u=5 daría coste 100.

Resultado

u*=1.

Lo comprobamos

No se elige u=5 porque la varianza penaliza esa decisión.

EJEMPLO RESUELTO 2

Evaluar el error

Para ese u*=1, calcula J.

  1. Decisión

    u*=1 en ese mismo problema.
  2. Media

    EX=1.
  3. Sesgo

    (1−5)²=16.
  4. Varianza

    σ²u²=4.
  5. Sumar

    J=16+4=20.
  6. Comprobar

    Coincide con la constante mínima de 5(u−1)²+20.

Resultado

J=20.

Lo comprobamos

El error no se reduce solo al sesgo.

Los símbolos que hemos usado

Estado X
Variable del sistema cuya evolución depende del control y del ruido.
Control u
Decisión elegida entre acciones admisibles.
Filtración ℱₜ
Información disponible hasta el instante t.
Admisibilidad
Condiciones de información, integrabilidad y restricciones que debe cumplir una decisión.
J(u)
Coste esperado de una estrategia.
V(t,x)
Mejor coste posible desde el estado x en el tiempo t.
HJB
Ecuación de Hamilton–Jacobi–Bellman asociada a programación dinámica.

Ahora te toca a ti.

Tienes cinco ejercicios. Inténtalos; las pistas te ayudan si te atascas.

Practicar este tema →

Para ampliar