Inferencia en dimensión alta

Los coeficientes β y β+h producen la misma predicción. Sin otra restricción, ni siquiera datos sin ruido distinguen todas las coordenadas.

Dispersión significa que β tiene pocas entradas no nulas. También necesitamos un diseño que distinga esas direcciones relevantes. Alta dimensión no hace imposible toda predicción; obliga a precisar qué objeto está identificado y qué estructura asumimos.

Usamos , con λ>0. La norma L¹ suma |βⱼ|. La penalización tiene esquinas que permiten ceros exactos. En dimensión finita hay un mínimo por continuidad y coercividad de la penalización.

Los coeficientes no siempre son únicos con columnas degeneradas, aunque la predicción ajustada sí es única para esta pérdida cuadrática convexa: dos predicciones distintas promediarían a una pérdida estrictamente menor. Cambiar la escala 1/(2n) o las unidades de columnas cambia el significado numérico de λ; se declara la estandarización.

Juntando: . La pérdida total es estrictamente convexa, así que el óptimo escalar es único, también en el umbral.

Si XᵀX/n=I, expandir la pérdida deja, salvo constante, Σ[(βⱼ−zⱼ)²/2+λ|βⱼ|], con z=Xᵀy/n.

Es una simplificación por diseño, no una fórmula general para columnas correlacionadas.

Con p>n, todas las p columnas no pueden ser ortonormales. En un diseño general se usan residuos parciales, métodos de coordenadas o pasos proximales. La geometría de la bola L¹ ayuda a entender los ceros, pero no elimina los términos cruzados de la pérdida.

Las condiciones convexas necesarias y suficientes son , con sⱼ=sign β̂ⱼ si β̂ⱼ≠0 y |sⱼ|≤1 si β̂ⱼ=0. Una coordenada nula puede ser óptima porque su correlación residual queda dentro de ese intervalo.

Un cero seleccionado no demuestra irrelevancia causal ni coeficiente verdadero cero. Con columnas idénticas, repartir una suma positiva entre ellas puede dejar la misma predicción y el mismo coste L¹. Las condiciones óptimas explican ese empate sin exigir una unicidad inexistente.

La desigualdad básica de optimalidad y λ≥2||Xᵀε/n||∞ dan . Como el primer término es no negativo, el error pertenece al cono ||ΔSc||₁≤3||ΔS||₁.

Supongamos además el autovalor restringido ||XΔ||²/n≥κ||Δ||² para ese cono, con κ>0.

Son cotas bajo un evento de ruido y una geometría especificados; no garantizan recuperación en cualquier matriz.

Predecir compara respuestas o Xβ; seleccionar busca qué coeficientes son no nulos; inferir pretende intervalos o pruebas para un objetivo declarado. Una predicción buena no garantiza soporte exacto ni cobertura correcta de un intervalo.

Recuperación exacta del soporte suele necesitar señal mínima y condiciones adicionales de diseño. La penalización introduce sesgo. Seleccionar y luego aplicar fórmulas ordinarias como si el modelo estuviera fijado de antemano puede invalidar la inferencia. El error dentro del diseño tampoco garantiza por sí solo buen rendimiento en una población nueva.

Con Gram G=XᵀX/n y una matriz auxiliar M, definimos β̃=β̂+MXᵀ(y−Xβ̂)/n. La descomposición exacta es . El segundo término es gaussiano condicionado en un diseño fijo si M depende solo de X y el ruido es gaussiano.

El resto de la coordenada j se acota por ||(I−MG)ⱼ·||∞||β̂−β*||₁. Con ε∼N(0,σ²I) y M dependiente solo de X, la varianza condicional del término de ruido j es . Para inferir, el resto debe ser despreciable respecto de esa escala de ruido, no solo pequeño sin escala.

Con M aleatoria dependiente también de y, la normalidad condicional no se afirma mediante el mismo argumento. Inferencia selectiva o separación de muestras tienen otros marcos propios.

Probar muchas coordenadas añade el problema de falsos positivos múltiples. Incluso intervalos marginales válidos no forman automáticamente una cobertura simultánea para todos los coeficientes. La selección, el nivel y el conjunto de hipótesis evaluadas deben quedar definidos.

Al predecir fuera de la muestra, importa la relación entre diseño observado y distribución futura. Una dirección que no varía en entrenamiento puede variar después. La calidad de un ajuste, la identificación de un coeficiente y el comportamiento fuera de muestra requieren comprobaciones distintas.