Máxima verosimilitud y métodos de estimación

Con observaciones independientes de masas o densidades fθ, la conjunta es L(θ; x)=∏fθ(xi). Como función de x describe el modelo probabilístico; con x fijo y θ variable, se llama verosimilitud. El máximo de L sobre el espacio permitido Θ es el MLE.

L no tiene por qué integrar uno respecto a θ ni expresa P(θ verdadero|datos). En un modelo continuo, los datos exactos suelen tener probabilidad cero para todos los parámetros: se comparan densidades. Una posterior necesitaría además una previa y normalización mediante Bayes.

Restricciones como p∈[0,1], σ>0 o θ>0 forman parte del problema. Si un dato queda fuera del soporte permitido por un parámetro, su verosimilitud es cero. Un indicador de soporte dependiente de θ no es una constante que se pueda borrar.

El producto de marginales exige independencia. Con dependencia se usa la ley conjunta o una factorización con condicionadas correctas. Sí se pueden retirar factores positivos independientes de θ porque no cambian dónde se alcanza el máximo.

Donde L>0, maximizar L equivale a maximizar ℓ=ln L porque el logaritmo crece estrictamente. En un producto independiente, ℓ es suma de logaritmos.

Se revisan concavidad o segunda derivada, fronteras y límites. Puede no existir un máximo admisible o haber varios. Un supremo en un punto excluido del espacio paramétrico no es un MLE alcanzado.

Con s éxitos en n ensayos independientes, L(p) es proporcional a pˢ(1−p)^(n−s).

Si s=0, la verosimilitud es (1−p)ⁿ y el máximo está en cero; si s=n, es pⁿ y está en uno, cuando Θ=[0,1]. Se trabaja con esos productos o sus límites, no evaluando sin cuidado términos como 0ln0.

Fijamos la versión de densidad 1/θ en el intervalo cerrado [0, θ], cero fuera, θ>0.

Si todos los datos son cero, cualquier θ>0 los admite y L crece sin límite cuando θ baja a cero: el máximo no existe. Esa muestra es nula bajo el modelo, pero explica la excepción de la fórmula.

Si η=h(θ) es una reparametrización uno a uno, maximizar en η equivale a cambiar coordenadas y usar h(θ̂). No se multiplica la verosimilitud por un jacobiano de parámetro como si se transformara una densidad posterior.

La invariancia del MLE no implica que sea insesgado. El máximo uniforme tiene media nθ/(n+1). Corregirlo por (n+1)/n produce otra regla, útil para otro criterio, que no maximiza en general la misma verosimilitud.

Para k parámetros, se buscan k momentos que identifiquen el modelo y se igualan Eθ(Xʲ) a los promedios muestrales de xʲ. Hay que comprobar existencia de esos momentos, soluciones y dominio. Una ecuación puede tener varias soluciones o ninguna admisible.

Coincidir con máxima verosimilitud en una familia no hace equivalentes ambos métodos. Los momentos resumen la ley, mientras la verosimilitud compara su conjunta en los datos. En un soporte variable, una solución de momentos puede incluso asignar densidad cero a un dato observado.

Con xi=μ+εi y errores normales independientes de varianza común conocida σ², ℓ es una constante menos Σ(xi−μ)²/(2σ²). Maximizar equivale a minimizar cuadrados, y el centro óptimo es x̄.

Con varianzas conocidas distintas aparecen pesos inversos de varianza. Otras leyes de error cambian la pérdida; con dependencia cambia la conjunta. Mínimos cuadrados también puede elegirse como criterio propio, sin afirmar que sea siempre máxima verosimilitud.

En un modelo regular identificable, con parámetro verdadero interior, soporte apropiado, derivación bajo la integral y controles que aseguren consistencia, la información de Fisher por dato es I(θ)=Eθ[(∂θln fθ(X))²]. Bajo las condiciones adicionales usuales del score y la Hessiana,√n(θ̂−θ) tiene límite N(0,1/I(θ)).

No se promete ese resultado por haber encontrado cualquier raíz. Hay que justificar el máximo y las hipótesis. Soportes dependientes del parámetro pueden generar otras escalas y otras leyes límite; la uniforme es un ejemplo donde la restricción del soporte cambia el análisis.