Métodos bayesianos de dimensión infinita

Elegimos un espacio medible de funciones y una probabilidad Π sobre él. Con verosimilitud L(y|f) medible y normalizador Z=∫L(y|f)dΠ(f) positivo y finito, la posterior es . No se presupone una densidad respecto de una medida de Lebesgue infinita como si hubiera finitas coordenadas.

El soporte, la regularidad y las restricciones del objeto importan. Una previa gaussiana para una regresión puede admitir valores negativos; eso no la convierte en una previa válida directamente sobre densidades. El mecanismo de observación también forma parte del modelo.

f∼GP(m,k) significa que (f(x₁),…,f(xᵣ)) es normal multivariante para cualquier colección finita, con medias m(xᵢ) y covarianzas k(xᵢ,xⱼ). Se admiten normales degeneradas. Las marginales deben ser compatibles al eliminar o permutar puntos.

El núcleo debe ser simétrico y semidefinido positivo: Σaᵢaⱼk(xᵢ,xⱼ)≥0 para toda elección finita. Esa cantidad es la varianza de Σaᵢf(xᵢ). Que las entradas diagonales sean positivas no basta; las covarianzas cruzadas pueden hacer imposible la matriz.

Para obtener trayectorias continuas o diferenciables hay que controlar incrementos y aplicar criterios apropiados, como continuidad de Kolmogorov con momentos y exponentes suficientes respecto de la dimensión del dominio. El nombre gaussiano describe leyes finitas, no toda regularidad.

Cambiar el núcleo cambia la relación entre puntos próximos. Un modelo con valores independientes en cada punto puede tener marginales perfectamente normales y no admitir una versión continua. Una observación de pocos puntos tampoco prueba la suavidad entre ellos.

La posterior es proporcional a exp(−f²/(2τ²)−(y−f)²/(2σ²)). El coeficiente cuadrático da precisión 1/τ²+1/σ².

Completar el cuadrado produce . La ganancia está entre cero y uno. Con media previa m₀, la media es m₀+ganancia·(y−m₀). Varianzas cero requieren tratar leyes degeneradas, no dividir por cero.

En entradas observadas X y entradas objetivo X*, con ruido independiente σ²I y parámetros del núcleo fijados, definimos C=KXX+σ²I. La media posterior es y la covarianza latente . Se obtienen condicionando una normal conjunta.

Con σ²>0, C es positiva definida aunque KXX sea singular. Se resuelve un sistema, normalmente por Cholesky, en vez de formar una inversa innecesaria. La covarianza posterior no depende de los valores de y con núcleo y ruido fijados; sí depende de ubicaciones y parámetros. La media depende también de y.

La posterior de f(x*) es incertidumbre latente. Para y*=f(x*)+ε*, con ruido nuevo independiente de varianza σ², la varianza predictiva es Var(f(x*)|y)+σ². La covarianza latente se reduce en el orden semidefinido al condicionar bajo el modelo fijo, pero el ruido de una medición nueva no se elimina.

Si amplitud, longitud de correlación o varianza de ruido son desconocidas, fijarlas en un valor estimado no equivale a integrarlas en un modelo jerárquico. La ley de varianza total añade tanto la media de varianzas condicionales como la varianza de medias condicionales. Esa incertidumbre adicional debe formar parte del procedimiento que se informa.

Contracción pregunta si Π(||f−f₀||>Mεₙ|datos) se hace pequeña, en una distancia y un régimen declarados. La respuesta depende de la previa, la posición de f₀ respecto de su soporte y regularidad, las observaciones y pruebas estadísticas disponibles. No se deduce una tasa universal porque la previa sea gaussiana.

Las probabilidades de bolas pequeñas y el espacio de Hilbert reproductor intervienen en resultados para previas gaussianas. Son teoremas específicos de modelos de regresión, densidad u otros; no basta invertir una matriz finita. También existen previas no gaussianas y construcciones distintas para densidades.

Un conjunto creíble de nivel 95 % tiene esa masa bajo la posterior condicionada al modelo. Cobertura frecuentista fija una verdad y repite el muestreo para contar cuántos conjuntos la contienen. En general no son la misma afirmación.

En dimensión infinita no se traslada automáticamente Bernstein–von Mises a toda la función. Existen contraejemplos, y existen resultados específicos para ciertos funcionales o topologías bajo condiciones. Un dibujo de una franja posterior no prueba cobertura global ni elimina un sesgo de regularización.

Consideremos observaciones Yₖ=θₖ+n⁻¹ᐟ²Zₖ para k≥1, con Zₖ normales estándar independientes, y previa θₖ independientes N(0,τₖ²). Es un experimento de coordenadas; el ruido blanco infinito no se trata como un vector de ℓ².

La conjugación coordenada a coordenada da . Las posteriores son compatibles e independientes en este modelo diagonal. Para reconstruir una posterior con valores ℓ², comprobamos suma de varianzas finita y media posterior en ℓ², no solo existencia de cada marginal.

En el ejemplo τₖ²=1/k², la traza posterior Vₙ=Σ1/(n+k²) está entre π/(2√n)−1/n y π/(2√n), por comparación con integrales. Es de orden n⁻¹ᐟ²; su raíz tiene orden n⁻¹ᐟ⁴. Esa es una escala de dispersión posterior en ℓ².

La media posterior tiene sesgo frecuente . Su ruido también contribuye al error. Una contracción alrededor de θ₀ requiere controlar ambas cosas además de Vₙ, con regularidad de la verdad y la previa pertinentes. La reducción de traza por sí sola no demuestra cobertura de una bola creíble.