Regresión lineal y diagnóstico del modelo

En E(Y|x)=β₀+β₁x, la recta describe la media de Y para cada x del modelo. La observación es Y=β₀+β₁x+ε, con E(ε|x)=0. β₁ mide el cambio de esa media por una unidad de x; β₀ es la media prevista en x=0, si ese valor tiene sentido en el contexto.

Los parámetros β₀ y β₁ son desconocidos.

El residuo r=y−ŷ es lo observado menos lo ajustado en el mismo x: se dibuja verticalmente. Un residuo no es el error ε, porque la recta verdadera no suele conocerse. “Lineal” se refiere a los parámetros: β₀+β₁x+β₂x² también es lineal en ellos.

Los cuadrados evitan que errores positivos y negativos se cancelen y penalizan más los residuos grandes. Este es el criterio de mínimos cuadrados ordinarios, abreviado MCO. Minimizarlo es un problema algebraico que no requiere normalidad de los datos.

Si Sxx>0 es una parábola estrictamente convexa: su mínimo único satisface b=Sxy/Sxx. Hemos reducido dos incógnitas a una sin perder el mínimo.

Sxy=Σ(xᵢ−x̄)(yᵢ−ȳ) combina los desvíos de ambas variables.

Centrar primero permite ver qué cantidades se están multiplicando y evita confundir productos con cuadrados.

Si todos los x son iguales, Sxx=0: no hay información para separar pendiente e intercepto. Puede estimarse el nivel medio en ese único x, pero muchas rectas pasan por él. Dividir por cero no resuelve esa falta de identificación.

Por tanto la recta pasa por (x̄, ȳ), y los residuos son ortogonales al vector constante y al predictor en el producto escalar usual. Son propiedades del ajuste con intercepto, incluso si el modelo probabilístico es incorrecto.

No significan que los residuos sean observaciones independientes de error. En el modelo matricial r=(I−H)ε, donde H proyecta sobre las columnas del diseño; con errores de covarianza σ²I, Cov(r)=σ²(I−H). Los ajustes compartidos enlazan los residuos. Una suma cero observada no demuestra que la media condicional del error verdadero sea cero.

Para un diseño fijo de rango completo, E(ε|X)=0 hace insesgados a los coeficientes MCO. Si además Cov(ε|X)=σ²I, Gauss–Markov dice que MCO tiene menor covarianza entre estimadores lineales e insesgados. “Lineal” significa lineal en las respuestas Y; no afirma ser mejor entre todos los estimadores posibles.

El argumento matricial aclara el alcance: A=(XᵀX)⁻¹Xᵀ y cualquier otro estimador lineal insesgado escribe (A+D)Y con DX=0.

La diferencia σ²DDᵀ es semidefinida positiva. La normalidad no interviene en esa comparación; sí interviene para obtener distribuciones t y F exactas.

Con heterocedasticidad, es decir, varianzas distintas según x, una media condicional cero puede mantener la insesgadez, pero ya no esa fórmula clásica de covarianza ni la conclusión de Gauss–Markov en su forma anterior. Los errores estándar robustos requieren su propio argumento, normalmente asintótico y con condiciones del diseño.

Con n>2, errores normales independientes de varianza σ² y diseño fijo de rango dos, s²=SSE/(n−2) estima σ². Los dos grados consumidos corresponden al intercepto y pendiente.

El contraste y el intervalo usan esa ley bajo esas hipótesis.

La media ajustada en x₀ tiene error estándar s√[1/n+(x₀−x̄)²/Sxx]. Una nueva respuesta independiente en ese mismo x añade su propio error, dando s√[1+1/n+(x₀−x̄)²/Sxx]. Por eso un intervalo de predicción es más ancho que un intervalo para la media; ambos usan tₙ₋₂ en el modelo normal.

La distribución exacta proviene de proyectar errores normales: los coeficientes son normales; el residuo es una proyección ortogonal independiente y SSE/σ² tiene χ²ₙ₋₂. Dividir un normal estandarizado por la raíz de esa χ² dividida por sus grados produce Student. Fuera del modelo, esas identidades exactas requieren revisión.

Con intercepto y SST=Σ(yᵢ−ȳ)²>0, SST=SSR+SSE, donde SSR=Σ(ŷᵢ−ȳ)². Al escribir yᵢ−ȳ=(ŷᵢ−ȳ)+rᵢ, el término cruzado se anula por las ecuaciones normales. R²=SSR/SST=1−SSE/SST queda entre cero y uno.

Es una proporción de variación muestral recogida por el ajuste respecto a la predicción constante ȳ. No es probabilidad de que el modelo sea cierto, ni una garantía causal o de predicción futura. Si todas las respuestas son constantes, SST=0 y esta razón no está definida.

Fuera de un ajuste con intercepto, las propiedades anteriores no se trasladan sin más.

Un patrón curvo en residuos frente a x o frente al ajuste sugiere revisar la forma de la media. Un abanico sugiere dispersión cambiante. Un patrón frente al tiempo sugiere dependencia. Son pistas para formular y contrastar una revisión del modelo, no demostraciones automáticas de la causa.

Un gráfico cuantil–cuantil compara la forma residual con una distribución de referencia, habitualmente normal, y ayuda a ver asimetrías o colas. No demuestra independencia ni media condicional correcta. Los residuos tienen dependencia inducida por el ajuste y su lectura debe tener en cuenta tamaño de muestra, diseño y apalancamientos.

Un valor atípico de respuesta se evalúa respecto al ajuste y a su incertidumbre. El apalancamiento mide una posición extrema en el diseño: en regresión simple con intercepto hᵢᵢ=1/n+(xᵢ−x̄)²/Sxx. Depende de x, no de y. Sus valores suman dos, el número de coeficientes, y un punto con gran h puede tener residuo pequeño.

La influencia pregunta cuánto cambia el ajuste al retirar un punto. Una medida es la distancia de Cook Dᵢ=[rᵢ²/(2s²)]·hᵢᵢ/(1−hᵢᵢ)² en el modelo simple de dos coeficientes y cuando los denominadores están definidos. Combina residuo y geometría. Un aviso diagnóstico lleva a revisar origen, medición y sensibilidad; no autoriza borrar un dato por estropear el resultado.

Interpolar usa x dentro del rango observado; extrapolar lo extiende. La recta siempre puede producir un número, pero fuera del rango puede fallar la forma de la media, el contexto o las unidades relevantes. El error estándar del modelo solo cuantifica incertidumbre dentro de sus hipótesis: no incluye mágicamente el error por una relación mal especificada.

Una asociación ajustada tampoco identifica un efecto causal. Un factor omitido que influya en x e y puede alterar la pendiente. Para interpretación causal hacen falta un diseño o supuestos de identificación defendibles, además de precisión estadística. Conviene declarar qué se observó, qué se modeló y hasta dónde llega la conclusión.