La PizarraMatemática.

Máster y doctorado

Inferencia semiparamétrica

Podemos querer un solo número, como una media, sin conocer toda la distribución. La inferencia semiparamétrica estudia ese objetivo pequeño dentro de un modelo con componentes muy flexibles. Empezaremos con contribuciones a una media y después veremos cómo corregir datos que faltan.

1. El parámetro de interés puede ser finito aunque el modelo no lo sea

Un modelo estadístico especifica qué distribuciones P admitimos para los datos. El objetivo θ(P) puede ser una media real, mientras que P conserva infinitas posibilidades. A veces se llama no paramétrico al modelo y semiparamétrica a la tarea de inferir su parámetro finito: lo importante es declarar sus restricciones.

No elegir una familia normal no elimina hipótesis. Siguen importando el muestreo, los momentos y la identificación: distribuciones observadas iguales deben determinar el mismo objetivo. Una función auxiliar es parte del modelo que necesitamos estimar aunque no sea el número final que queremos informar.

Una media sin imponer una familia de densidades

X tiene segundo momento finito; θ(P)=E X.

  1. Objetivo

    θ es un solo número.

  2. Modelo

    P puede ser discreta, continua o una mezcla; no se ha fijado una familia con pocos parámetros.

  3. Estimador

    La media muestral sigue disponible con observaciones iid.

Resultado

Un objetivo finito no exige un modelo paramétrico completo.

Lo comprobamos

El segundo momento sí se ha impuesto para estudiar su incertidumbre normal.

Una función desconocida que no es el objetivo final

Y es una respuesta y X unas características.

  1. Auxiliar

    m(x)=E(Y|X=x) es una función de x.
  2. Objetivo

    Podemos querer solo θ=E Y=E m(X).
  3. Distinción

    Estimar m puede ayudar a θ sin que necesitemos informar toda la curva m como resultado final.

Resultado

Nuisance significa componente auxiliar, no componente irrelevante.

Lo comprobamos

Su error puede influir en la inferencia de θ.

2. La expansión lineal identifica qué promedio domina el error

Una representación asintóticamente lineal es \widehat\theta-\theta=\frac1n\sum_{i=1}^n\psi_P(Z_i)+o_P(n^{-1/2}). La función ψ asigna una contribución a cada observación. Se exige Eψ=0 y Eψ²<∞; para un límite normal no degenerado, Varψ>0.

Con datos iid, el TCL da √n(θ̂−θ)⇒N(0,Eψ²).

El resto debe desaparecer a esa escala. Esta expansión no garantiza por sí sola convergencia de varianzas reales ni regularidad frente a todas las perturbaciones del modelo. Esas son condiciones adicionales cuando se estudia eficiencia.

Leer el tamaño de un resto

La expansión tiene resto Rₙ=n⁻³ᐟ⁴.

  1. Escalar

    √nRₙ=n⁻¹ᐟ⁴.
  2. Comparar

    Tiende a cero, así que el resto no cambia el límite del promedio.

  3. Varianza límite

    Si Eψ²=9, el límite escalado tiene varianza nueve.
Resultado

El promedio de influencias domina a primer orden.

Lo comprobamos

El resto n⁻¹ᐟ⁴ no sería admisible con la misma justificación.

La función y su evaluación son objetos distintos

ψ(x)=x−4 y se observa x=7.

  1. Función

    ψ es la regla restar cuatro.

  2. Evaluación

    ψ(7)=3.
  3. Aleatoriedad

    Antes de observar, ψ(X) es aleatoria porque X lo es.

Resultado

Tres es una contribución con signo, no una probabilidad.

Lo comprobamos

Para x=2, la contribución sería −2.

3. La media tiene una influencia que se ve en una identidad exacta

Para θ(P)=μ=E X, ψ_P(x)=x−μ.
La identidad X̄−μ=(1/n)Σ(Xᵢ−μ) no tiene resto.

La función está centrada y su varianza es Var X, si el segundo momento existe.

En el modelo no paramétrico usual de distribuciones con momentos adecuados, esta función representa la sensibilidad de la media y es su gradiente canónico. En un modelo restringido hay que revisar el espacio tangente. Una influencia eficiente no se decide por mirar solo un promedio de una muestra.

Reconstruir el error sumando contribuciones

Datos uno, tres y cinco; valor de referencia μ=4.

  1. Contribuciones

    Son −3,−1 y 1.

  2. Promedio

    (−3−1+1)/3=−1.
  3. Comprobar

    La media de los datos es tres y X̄−μ=3−4=−1.
Resultado

La expansión de la media es una identidad, no una aproximación.

Lo comprobamos

El μ usado como referencia se ha fijado explícitamente.

Pasar de la influencia a la incertidumbre

Var X=16 y n=64.

  1. Influencia

    ψ=X−μ tiene varianza dieciséis.
  2. Media

    Var X̄=16/64=1/4 exactamente en el muestreo iid.
  3. Error estándar

    Es 1/2.

Resultado

La varianza de la influencia pertenece a la escala √n.

Lo comprobamos

No es la varianza sin escalar de la media.

4. Una función centrada debe además representar la sensibilidad correcta

Consideramos submodelos regulares Pε que pasan por P. Su score s describe el cambio relativo de densidad y tiene media cero. Una influencia de un estimador regular debe cumplir \left.\frac{d}{d\varepsilon}\theta(P_\varepsilon)\right|_0=\mathbb E_P[\psi_Ps] para todas las direcciones permitidas.

Una influencia debe representar cambios de la distribución
Tres resultados con probabilidad 1/3x=1ψ=-2s=-3ψs=6x=3ψ=0s=0ψs=0x=5ψ=2s=3ψs=6Media μ=3; ψ(x)=x−3Eψ=0; Es=0E(ψs)=(6+0+6)/3=4Cambiar probabilidades cambia la media.La sensibilidad también debe coincidir.
Modelo finito didáctico con valores uno, tres y cinco, equiprobables en el punto de referencia. La media es tres y la influencia de la media vale menos dos, cero y dos. Se perturban las probabilidades como un tercio menos epsilon, un tercio y un tercio más epsilon; el score en cero vale menos tres, cero y tres. La derivada exacta de la media respecto de epsilon es cuatro, igual a la esperanza del producto de influencia y score. El ejemplo comprueba la identidad de sensibilidad en esta dirección; no sustituye revisar todas las direcciones de un modelo semiparamétrico general.

Para la media, diferenciar su integral bajo condiciones apropiadas da E[Xs].

Como Es=0, es E[(X−μ)s].

Centrar una función cualquiera no garantiza esa identidad. El siguiente modelo finito hace visible la cuenta; en un modelo general se revisa cada dirección regular.

Perturbar una distribución de tres puntos

Valores 1,3,5 y probabilidades (1/3−ε,1/3,1/3+ε), |ε|<1/3.

  1. Media

    μ(ε)=1(1/3−ε)+3/3+5(1/3+ε)=3+4ε.
  2. Score

    En cero vale s=(−3,0,3); la influencia de la media es ψ=(−2,0,2).
  3. Comprobar

    Eψs=(6+0+6)/3=4, igual a μ′(0).
Resultado

La identidad conecta cambios de probabilidades con contribuciones de observaciones.

Lo comprobamos

La condición |ε|<1/3 mantiene probabilidades positivas.

Centrada, pero con sensibilidad equivocada

En el mismo modelo, proponer η=2ψ.

  1. Media

    Eη=2Eψ=0.
  2. Sensibilidad

    Eηs=2Eψs=8.
  3. Fallo

    La derivada real de la media es cuatro, no ocho.

Resultado

η no es la influencia correcta del mismo parámetro en esta dirección.

Lo comprobamos

El fallo no se detecta comprobando solo que su media sea cero.

5. La proyección elimina variación que no representa cambios del parámetro

En L²₀(P), el producto interior es ⟨f,g⟩=E(fg); trabajamos con funciones centradas de segundo momento finito. El espacio tangente T es el cierre de la envolvente lineal de los scores de submodelos regulares. Es cerrado por definición, de modo que existe proyección ortogonal.

La componente ortogonal añade varianza sin representar cambios nuevos
φ=ψ+ζ; E(ψζ)=0ψ en Tζ en T⊥φVar ψ=8/3Var ζ=2Var φ=8/3+2=14/3
Triángulo de funciones en L dos de la distribución uniforme sobre uno, tres y cinco. Se toma psi igual menos dos, cero, dos, y zeta igual uno, menos dos, uno. Ambas están centradas y su producto interior es cero. El espacio tangente del submodelo de la lección está generado por psi, y phi igual psi más zeta representa la misma derivada en ese submodelo. Los lados se dibujan con una misma escala de norma: raíz de ocho tercios y raíz de dos; la hipotenusa tiene norma raíz de catorce tercios. La proyección retira zeta y reduce la varianza de catorce tercios a ocho tercios. Es geometría del espacio de funciones, no un diagrama de observaciones.

Proyectar una influencia válida en T da el gradiente canónico. Una componente en T⊥ no cambia los productos con los scores, pero añade norma al cuadrado. Pitágoras explica la varianza mínima entre representantes; la cota para estimadores regulares y la construcción de uno que la alcance requieren el marco de regularidad correspondiente.

Misma sensibilidad con una componente extra

Modelo de tres puntos anterior; ψ=(−2,0,2), ζ=(1,−2,1).

  1. Ortogonalidad

    Eζ=0 y Eψζ=(−2+0+2)/3=0.
  2. Misma dirección

    El score genera T=span ψ.
    Para φ=ψ+ζ, Eφs=Eψs=4.
  3. Varianzas

    Varψ=8/3, Varζ=2 y Varφ=14/3.
Resultado

La componente extra no mejora la sensibilidad y sí aumenta la varianza.

Lo comprobamos

Este ejemplo describe el submodelo de una dirección indicado, no todos los scores de un modelo irrestricto.

Proyectar en un modelo irrestricto

En una distribución de tres puntos con probabilidades positivas, se permiten todas las perturbaciones centradas.

  1. Espacio

    Los scores generan todo L²₀(P), de dimensión dos.

  2. Exigir todas las direcciones

    Una componente no nula ya no puede esconderse en T⊥ dentro de L²₀.

  3. Consecuencia

    Para la media, ψ=x−μ es el representante canónico único.
Resultado

Restringir o ampliar el modelo cambia qué componentes son admisibles.

Lo comprobamos

La φ extra del ejemplo anterior no representa necesariamente las direcciones nuevas.

6. Las funciones auxiliares aparecen de forma concreta cuando faltan respuestas

Observamos Z=(X,A,AY), donde A=1 si se observa Y.
Queremos θ=E Y.
Suponemos MAR: Y es independiente de A dado X, y positividad π(X)=P(A=1|X)≥ε>0.
Definimos m(X)=E(Y|X).

Con momentos suficientes, la influencia eficiente del modelo MAR es \phi(Z)=m(X)-\theta+\frac A{\pi(X)}(Y-m(X)).

La contribución sin centrar es F=m(X)+(AY−Am(X))/π(X), calculable incluso si A=0.
Bajo MAR, E[A(Y−m)|X]=0 y E F=θ.

En los ejemplos usamos auxiliares conocidas para ver la cuenta; al estimarlas habrá que controlar su error.

Con EY²<∞ y positividad, φ es cuadrado-integrable.

Una observación corrige una predicción auxiliar

m(x)=2, π(x)=1/4, A=1 y Y=3; θ=4.

  1. Residuo

    Y−m=1.
  2. Ponderar

    A/π=4, así F=2+4·1=6.
  3. Centrar

    φ=F−θ=6−4=2.
Resultado

La influencia combina predicción y residuo observado ponderado.

Lo comprobamos

Con A=0 se usa F=m(x); no se exige conocer el Y ausente.

Una corrección puede reducir variación respecto a ponderar solo

X=0 o 1 equiprobable; Y=m(X), con m(0)=2,m(1)=6 y π(0)=1/4,π(1)=3/4.

  1. Media

    θ=(2+6)/2=4; suponemos MAR.
  2. Solo ponderar

    AY/π vale ocho cuando A=1 y cero en otro caso; P(A=1)=1/2. Su varianza es dieciséis.

  3. Con m correcta

    El residuo es cero y F=m(X), que vale dos o seis: su varianza es cuatro.

Resultado

La regresión aporta información útil cuando está justificada y bien estimada.

Lo comprobamos

Son cálculos con auxiliares conocidas; no garantizan ese rendimiento en cada muestra entrenada.

7. Cross-fitting separa entrenamiento y evaluación sin borrar las hipótesis

Con K particiones de tamaño comparable y K fijo, entrenamos los auxiliares fuera de cada partición y evaluamos F en los datos que quedaron fuera del entrenamiento. Después promediamos las contribuciones. Esto facilita controlar el error de evaluación bajo independencia del ajuste y de su muestra de prueba.

Las contribuciones de todas las particiones no son literalmente iid, pues los entrenamientos se solapan. El teorema maneja esa dependencia. Se siguen necesitando consistencia de auxiliares, tasas, momentos y denominadores protegidos. Cross-fitting no identifica información que el diseño no observa.

Dos mitades con papeles que se intercambian

Una muestra se divide en I₁ e I₂.

  1. Primera evaluación

    Entrenar m y π con I₂ y calcular F para observaciones de I₁.

  2. Segunda evaluación

    Entrenar con I₁ y evaluar I₂.

  3. Reunir

    Promediar todas las contribuciones con los ajustes de fuera de su propia mitad.

Resultado

Cada observación se evalúa con una función que no se entrenó usando ella.

Lo comprobamos

No se afirma independencia exacta entre las dos medias finales.

Una región sin respuestas observadas

X=0 y X=1 tienen probabilidad 1/2; nunca se observa Y cuando X=1.

  1. Fallo de positividad

    π(1)=0.
  2. Ambigüedad

    Los datos no distinguen si la media de Y en esa región es cero o cien.

  3. Objetivo

    La media total podría diferir en cincuenta sin cambiar la ley observada.

Resultado

Ninguna separación de muestra resuelve esa falta de identificación sin supuestos extra.

Lo comprobamos

No se divide por una propensión cero.

8. La varianza eficiente es de primer orden y debe estimarse a la escala correcta

Si se ha justificado θ̂−θ=Pₙφ+oₚ(n⁻¹ᐟ²), la varianza límite es V=Eφ².

La aproximación de varianza sin escalar es V/n y el error estándar √(V/n). La convergencia de varianzas reales requiere controles adicionales de momentos.

Con contribuciones estimadas por cross-fitting y condiciones de consistencia y momentos apropiadas, su varianza empírica estima V. Si V>0 y el límite normal es válido, se construyen intervalos con esa escala. Alcanzar la cota eficiente es una propiedad relativa al modelo y a estimadores regulares, no un premio automático para cualquier algoritmo predictivo.

No confundir varianza límite y error estándar

V=25 y n=100.

  1. Varianza aproximada

    V/n=25/100=1/4.
  2. Error estándar

    √(1/4)=1/2.
  3. Escala raíz de n

    La desviación del límite escalado es cinco.

Resultado

Son tres cifras distintas: 25, 1/4 y 1/2.

Lo comprobamos

Para el margen de un intervalo se usa 1/2.

La cota depende del modelo

En el ejemplo finito, una dirección da T=span ψ y el modelo irrestricto da T=L²₀.

  1. Direcciones

    Una restricción reduce las perturbaciones que debemos representar.

  2. Proyección

    La proyección se calcula en el T del modelo realmente asumido.

  3. Informe

    Una comparación de eficiencia debe declarar ese modelo y la clase regular de estimadores.

Resultado

Una varianza pequeña fuera de una hipótesis correcta no garantiza inferencia válida.

Lo comprobamos

La identificación y la expansión se comprueban antes de comparar cotas.

9. La ortogonalidad deja un producto de errores y explica la doble robustez

Para el ejemplo MAR, usemos ajustes m̃,π̃ con π̃ protegida por una cota positiva. Condicionando en un ajuste entrenado fuera de la evaluación, el sesgo poblacional de F̃ es \mathbb E\widetilde F-\theta=\mathbb E\left[\frac{\widetilde\pi-\pi}{\widetilde\pi}(\widetilde m-m)\right]. Desaparece si cualquiera de los dos auxiliares es exactamente correcto. Esa es la doble robustez de la identidad, que por sí sola no prueba normalidad.

Cauchy–Schwarz acota el resto por una constante por ||π̃−π||₂||m̃−m||₂. Para hacerlo oₚ(n⁻¹ᐟ²) necesitamos un producto menor que esa escala. Con cross-fitting de K fijo, auxiliares L²-consistentes, propensiones acotadas inferiormente, varianza condicional del residuo acotada y ese producto despreciable, se obtiene la expansión de primer orden del modelo MAR.

Hay que comprobar las condiciones del ajuste, no solo su puntuación predictiva.

Comprobar el signo del sesgo en una región

m=2, π=1/2, m̃=3 y π̃=1/4.

  1. Esperanza de la contribución

    E(F̃|X)=3+(1/2)/(1/4)·(2−3)=1.
  2. Sesgo

    Es 1−2=−1.
  3. Producto

    [(1/4−1/2)/(1/4)]·(3−2)=−1, igual a la cuenta directa.
Resultado

Si m̃ se corrige a dos, o π̃ a un medio, el sesgo de esta identidad se anula.

Lo comprobamos

Una propensión demasiado pequeña también amplifica errores y variabilidad.

Comparar tasas suficientes y un caso de frontera

Errores L² de órdenes O_P(n^{-0.30}) y O_P(n^{-0.25}).

  1. Producto

    Es O_P(n^{-0.55}).

  2. Escalar

    Multiplicar por √n deja O_P(n^{-0.05}), que tiende a cero en probabilidad.

  3. Frontera

    Dos errores solo Oₚ(n⁻¹ᐟ⁴) dan Oₚ(n⁻¹ᐟ²), que no garantiza el pequeño o requerido.

Resultado

Las tasas se suman en el producto; no basta decir ambos aprenden bien.

Lo comprobamos

Dos errores oₚ(n⁻¹ᐟ⁴) sí proporcionan el resto despreciable, con las demás condiciones.

Ahora lo resolvemos de principio a fin.

EJEMPLO RESUELTO 1

Influencia de la media

Para μ=4, calcula ψ(7) de la media.

  1. Objetivo

    Para la media, ψ(x)=x−μ.
  2. Referencia

    Se fija μ=4.
  3. Observación

    Se evalúa en x=7.
  4. Sustituir

    ψ(7)=7−4.
  5. Calcular

    La contribución es tres.

  6. Interpretar

    El dato está tres unidades por encima de la media; ψ no es una probabilidad.

Resultado

ψ(7)=3.

Lo comprobamos

Los valores por encima de la media contribuyen positivamente.

EJEMPLO RESUELTO 2

Varianza de primer orden

Si Var ψ=25, calcula la varianza asintótica sin escalar para n=100.

  1. Escala

    Varψ=25 corresponde a la varianza límite de √n(θ̂−θ).
  2. Tamaño

    n=100.
  3. Primer orden

    La varianza sin escalar se aproxima por Varψ/n.

  4. Calcular

    25/100=1/4.
  5. Raíz

    El error estándar correspondiente es 1/2.

  6. Alcance

    La aproximación usa una expansión válida; no se deduce convergencia de varianzas reales sin controles de momentos.

Resultado

La aproximación de varianza es 1/4.

Lo comprobamos

Se distingue escala del estimador y escala √n.

Los símbolos que hemos usado

P
Distribución de los datos observados bajo el modelo.
θ(P)
Parámetro objetivo como función de esa distribución.
Nuisance o auxiliar
Parte desconocida que no es el objetivo, como una densidad o regresión.
ψ_P(x)
Función de influencia centrada que representa una derivada del parámetro en el modelo.
Submodelo P_ε
Familia paramétrica regular que pasa por P al tomar ε=0.
Score s
Derivada de logdensidad de un submodelo en cero, en el marco regular.
Espacio tangente
Cierre en L²₀(P), el espacio de funciones centradas de cuadrado integrable, de la envolvente lineal de los scores admitidos.
Influencia eficiente
Representante de la derivada en el espacio tangente, con varianza mínima en la clase regular pertinente.

Ahora te toca a ti.

Tienes cinco ejercicios. Inténtalos; las pistas te ayudan si te atascas.

Practicar este tema →

Para ampliar