Likelihood Weighting: evidencia y pesos

Una red bayesiana combina un DAG y tablas locales para definir una conjunta. Cada CPT describe un nodo dados sus padres; las raíces tienen su propia distribución. La consulta puede ir en otra dirección o reunir varias observaciones.

Si la consulta ya está observada, esa parte queda fijada. El método resulta útil para variables no observadas, cuyo estado todavía no sabemos.

La enumeración suma todos los estados ocultos y es exacta para el modelo finito. Puede ser costosa: n bits tienen 2 ⁿ configuraciones completas. Muestrear trabaja con las rondas que podamos generar sin enumerarlas todas.

Una estimación finita puede variar entre ejecuciones. Aproximar no cambia el significado de probabilidad, ni convierte las tablas en datos aprendidos a partir de esas rondas. La exactitud del modelo y el error de muestreo son asuntos diferentes.

Rechazo sorteaba todos los nodos y eliminaba rondas incompatibles con E=e. LW fija los observados en e y sortea los demás. Así no genera estados contradictorios en esos nodos, pero tampoco está muestreando directamente la conjunta original.

El peso compensa los factores retirados al fijar la evidencia. Una ronda ya no aporta necesariamente una unidad. Evitar rechazos no significa haber generado muestras directas de la posterior.

Se requieren un DAG discreto finito, todas sus CPT válidas, evidencia y consulta. Cada fila tiene entradas no negativas y suma uno sobre el hijo. P(e)>0 permite definir la posterior por el cociente habitual.

No hace falta positividad estricta de todos los estados: los ceros están permitidos y pueden dar pesos cero. Existen extensiones continuas, pero una densidad no se sustituye sin más por una probabilidad puntual; aquí todos los estados son finitos.

Recorremos padres antes que hijos. Al llegar a cada nodo, sus padres ya tienen estados: unos se sortearon y otros eran evidencia. Un no observado se sortea desde esa fila; un observado se fija y aporta la probabilidad de su estado en ella.

Una evidencia anterior sí influye en la generación de sus hijos. Fijar no significa ignorar su valor. El algoritmo sigue cada arista y consulta la configuración parental completa de esa ronda.

Una ronda empieza con un registro de estados y w=1. Por orden topológico: si el nodo no se observa, lo sorteamos; si se observa, fijamos eᵢ y multiplicamos w por su factor local. No hacemos ambas cosas para el mismo nodo.

Al terminar, añadimos w al total y, si la consulta se cumple, también a su numerador. La próxima ronda usa nuevos sorteos y otro w=1. Las tablas permanecen fijas durante toda esta inferencia.

Si Z reúne los nodos no observados, . Cada condición usa los padres de esa ronda. Una raíz observada aporta su probabilidad a priori.

Los factores se multiplican dentro de una ronda; después se suman pesos entre rondas. Sin evidencia el producto vacío vale uno y recuperamos ancestral para marginales. En esta red discreta cada peso individual queda entre cero y uno.

La proporción ponderada es si el total es positivo. El indicador vale uno o cero según se cumpla la consulta.

Los acumulados pueden superar uno: reúnen muchas rondas y no son probabilidades individuales. Para obtener toda la distribución de Q, acumulamos un numerador por estado y usamos un denominador común; así sus resultados suman uno.

Las probabilidades de los no observados se usaron para generar sus estados. Su frecuencia incorpora esos factores. El peso debe reponer los factores de evidencia retirados; multiplicar además toda la conjunta favorecería por segunda vez ciertos estados.

Un factor común puede cancelarse en un ejemplo simétrico y esconder ese error. La definición general se mantiene aunque una cuenta concreta coincida por casualidad.

g(z) es la probabilidad con que el procedimiento genera los nodos no observados, con e fijada. Contiene el producto de los factores de los nodos sorteados. w(z) contiene los factores observados.

Al multiplicar recuperamos exactamente un factor por nodo: . Sumando sobre z, ; sumando solo la consulta, . Las medias estiman esas dos cantidades y su cociente estima la posterior.

En general w(z) no es P(E=e|Z=z) cuando Z reúne todos los no observados. Condicionar además por descendientes sorteados puede cambiar esa probabilidad; la receta de LW sigue siendo el producto de factores locales observados.

Llamarlo P(e|z) intercambiaría una dirección que no aparece en el algoritmo. La identidad g·w evita esa confusión.

Si un factor observado vale cero para los padres de una ronda, w queda en cero. Esa ronda no aporta a ningún acumulado. No cambiamos el cero por un número pequeño inventado.

Un bloque con peso total cero no permite estimar: puede faltar una ronda informativa aunque P(e)>0, o la evidencia puede ser imposible. Con total positivo, un numerador cero sí produce estimación cero, sin demostrar que la probabilidad exacta lo sea.

En una red discreta finita, con rondas independientes correctas y P(e)>0, las medias del numerador y denominador convergen a sus expectativas. Como el límite del denominador es positivo, el cociente converge a la posterior.

El cociente no es en general insesgado con N finito: E[U/V] no tiene por qué ser E[U]/E[V]. Tampoco cada ronda nueva mejora el error. Si casi todo el peso está en pocas rondas, LW puede ser ineficiente; evitar rechazo no garantiza ventaja universal.

La cantidad resume concentración de pesos cuando hay peso positivo. Es un diagnóstico, no una cota de error ni un certificado de exactitud.

En rechazo sorteábamos L y M.

Compensaremos esa modificación con los factores de M. Los números son didácticos y las tablas permanecen constantes.

Los diez uL son 0,10; 0,70; 0,20; 0,90; 0,30; 0,80; 0,40; 0,60; 0,05; 0,55. Con umbral 0,50 producen Sí en rondas impares y No en pares. Usarlos de nuevo permite comparar métodos sobre la misma secuencia didáctica.

M se fija Sí y no se lee ningún uM de la lección de rechazo. En una red general, cada no observado posterior usa los estados ya asignados a sus padres, incluidos los observados. Una ejecución real necesita sorteos independientes adecuados, no una secuencia elegida para demostrar una cuenta.

Su factor con ese padre es 0,80, por lo que w empieza en 1 y pasa a 0,80.

Añadimos 0,80 al total y, como la consulta es L=Sí, también a su numerador. Ese peso individual no es aún la posterior ni se divide por el número de rondas en este paso.

El peso de esta ronda es 0,20.

Aporta 0,20 al total y nada al numerador de lluvia. No se añade una regla que prohíba mojado sin lluvia; ni se confunde «cero arriba» con «peso cero».

Las impares pesan 0,80; las pares 0,20. La última columna solo añade peso cuando la ronda cumple L=Sí.

El denominador usa toda la columna w. No se eliminan las pares ni las rondas que antes se rechazaban por su uM: ese sorteo ya no forma parte del método.

El numerador de lluvia es 4 y el total 5.

Cuatro y cinco no son probabilidades: son acumulados de varias rondas. Si dividimos por N obtenemos medias que estiman conjuntas y evidencia; si dividimos entre sí obtenemos la posterior estimada.

Suman uno con el mismo denominador. La enumeración exacta coincide en esta secuencia, pero no en cualquier bloque de diez rondas.

Para reunir bloques sumamos sus pesos favorables y totales; no promediamos sus cocientes sin ponderación.

Con E₁=e₁ y E₂=e₂, multiplicamos ambos factores dados sus padres de esa ronda. Si un observado es raíz, también aporta su marginal. Después sumamos los pesos de rondas diferentes.

En el modelo original solo M se observa. Para la red ampliada L→M y L→A, observar M=Sí, A=Sí produce 0,80·0,60=0,48 si llueve y 0,20·0,10=0,02 si no. El segundo ejercicio reunirá ambos grupos completos.