Una observación puede tener muchas coordenadas y aun seguir una estructura sencilla. Pero “sencilla” puede significar una recta, una superficie curva o algo útil para una tarea concreta. Construiremos PCA con una nube pequeña y compararemos su dimensión lineal con la dimensión local de un círculo.
Si necesitas repasar:
1. Las unidades y la tarea influyen en qué geometría resulta útil
La distancia euclídea compara coordenadas en la escala elegida. Cambiar metros por milímetros sin compensar la métrica puede cambiar vecinos y direcciones de mayor variación.
PCA busca variación, sin usar etiquetas de una tarea predictiva. Una dirección que varía poco puede contener la información decisiva para una etiqueta. Reducir dimensión se evalúa con un objetivo, no solo con un dibujo atractivo.
Cambiar una unidad cambia la dirección principal
Cuatro puntos: (±2,0) y (0,±1).
Variaciones
Con media cero, la covarianza es diag(2,1/2). La dirección horizontal varía más.
Nueva escala
Multiplica la segunda coordenada por diez: covarianza diag(2,50).
Resultado
Ahora la dirección vertical domina, aunque sean las mismas observaciones con otra unidad.
Escalar no es una operación geométricamente neutra.
Estandarizar puede ayudar con unidades distintas, pero también cambia la pregunta.
Mucha varianza puede perder toda una etiqueta
Cuatro puntos (±100,±1), todas las combinaciones, y etiqueta dada por el signo de la segunda coordenada.
Covarianza
Es diag(10000,1).
PCA de una dimensión
Conserva la coordenada horizontal y explica 10000/10001 de la varianza.
Etiqueta
Para cada horizontal hay un punto de cada etiqueta: esa proyección no las distingue.
Un porcentaje muy alto no garantiza utilidad predictiva.
La información de la etiqueta estaba en la dirección de menor varianza.
2. Centrar separa el lugar de la nube de sus fluctuaciones
y 
=
−μ.
.Cada producto 
_iᵀ registra variaciones y covariaciones respecto al centro.
La covarianza muestral con 1/(n−1) multiplica esta C por n/(n−1) si n>1. No cambia autovectores ni proporciones de varianza. Estandarizar cada coordenada, en cambio, es otra transformación y puede cambiar las direcciones.
Una nube desplazada
Puntos (8,0), (12,0), (10,1), (10,−1).
Centro
μ=(10,0).Restar
Los centrados son (−2,0),(2,0),(0,1),(0,−1).
Matriz
C=diag(2,1/2).El segundo momento sin centrar sería diag(102,1/2).
La distancia de la media al origen no debe confundirse con dispersión alrededor de ella.
La covarianza suma productos de datos centrados.
Cambiar solo el divisor
n=4 y C=diag(2,1/2).
Factor
n/(n−1)=4/3.Otra convención
=diag(8/3,2/3).Proporción
Primera componente: (8/3)/(10/3)=4/5, igual que 2/(5/2).
Las escalas absolutas cambian, las proporciones no.
Se declara la convención antes de comparar errores absolutos.
3. PCA maximiza la varianza de una proyección unitaria
Para una dirección w con ‖w‖=1, la coordenada proyectada de z es wᵀz y su varianza es wᵀCw. C es simétrica semidefinida positiva. Si sus autovalores se ordenan 
, el máximo es λ₁.
Escribiendo w en una base ortonormal de autovectores, wᵀCw es una suma de 
por coeficientes cuadrados que suman uno: no supera λ₁. Las siguientes direcciones se eligen con ortogonalidad. Un signo invertido no cambia la recta principal.
Una nube inclinada
Puntos (2,2),(−2,−2),(1,−1),(−1,1), con media cero.
Covarianza
.Direcciones
w₁=(1,1)/√2 y w₂=(1,−1)/√2 son ortonormales.Comprobar
Cw₁=4w₁ y Cw₂=w₂: varianzas cuatro y uno.
La dirección principal sigue la diagonal ascendente.
Los vectores sin dividir por √2 no serían unitarios.
Autovalores repetidos
C=(1/2)I en dos dimensiones.
Cualquier unidad
wᵀCw=(1/2)‖w‖²=1/2.Máximo
Todas las direcciones unitarias empatan.
No unicidad
Una salida del algoritmo no certifica una dirección geométrica preferida.
La base elegida dentro de un autoespacio repetido no es única.
La varianza total sí está bien definida.
4. El porcentaje explicado exige un total positivo
La varianza total es tr C, suma de autovalores. Con total positivo, retener k explica 
. Una contribución absoluta y un porcentaje son cantidades diferentes.
El cociente sería 0/0 y no está definido. Un umbral de porcentaje resume reducción lineal; no prueba una dimensión intrínseca exacta del proceso que produjo los datos.
Leer los autovalores de la nube inclinada
λ₁=4 y λ₂=1.
Total
4+1=5.Primera
4/5=80 %.Ambas
(4+1)/5=100 %.
El porcentaje se refiere a esta escala y a esta nube.
Retener 80 % no significa conservar exactamente 80 % de cada observación.
Un dato repetido muchas veces
Todos los son (7,−2).
Centro
También es (7,−2).
Centrados
Todos son cero: C=0.Porcentaje
No dividimos entre cero; no hay varianza que repartir.
Se informa ausencia de variación, no un porcentaje inventado.
Cambiar el número de copias no crea dispersión.
5. La reconstrucción principal minimiza un error lineal concreto
Con columnas ortonormales 
, la coordenada reducida es 
y la reconstrucción 
. PCA minimiza el error cuadrático medio entre subespacios lineales de dimensión k de los datos centrados.
Con nuestra C normalizada por 1/n, ese error medio es la suma de los autovalores descartados. Para otro divisor se convierte la escala. La optimalidad no asegura conservar todas las distancias ni encontrar el mejor modelo no lineal.
Proyectar y medir lo perdido
La nube inclinada y w₁=(1,1)/√2.
Puntos diagonales
(2,2) y (−2,−2) ya están en la recta: error cero.
Otros dos
(1,−1) y (−1,1) tienen producto cero con w₁; se reconstruyen como (0,0) y su error cuadrado es dos cada uno.
Promedio
(0+0+2+2)/4=1, el autovalor descartado.
La fórmula del error se comprueba con las cuatro observaciones.
Los dos puntos diferentes pueden compartir la misma coordenada reducida.
Comparar otra recta
Proyecta esa misma nube sobre el eje horizontal.
Error
Es la media de las coordenadas verticales al cuadrado.
Calcular
(4+4+1+1)/4=5/2.PCA
El error uno de la diagonal es menor; en general error=tr C−wᵀCw.
Maximizar varianza retenida equivale a minimizar este error.
Se mantiene la misma nube, distancia y normalización para comparar.
6. Una variedad curva puede necesitar pocas coordenadas locales
Una variedad regular de dimensión m se parece localmente a un abierto de Rᵐ. Puede estar dentro de Rᵈ con m<d y curvarse. “Local” no significa que un único plano o una sola carta describa todo el objeto.
El círculo S¹⊂R² tiene una coordenada local; la esfera S²⊂R³ tiene dos. Un salto angular o un polo de coordenadas puede ser un problema de representación y no una singularidad de la figura.
Un parámetro para moverse por un círculo
x²+y²=1.
Parametrizar
(x,y)=(cosθ,sinθ).Cerca de un punto
Un intervalo angular pequeño recorre un arco sin repetir puntos.
Todo el círculo
θ y θ+2π representan lo mismo: hay periodicidad y no una coordenada real global sin identificación.
Dimensión intrínseca uno y ambiente dos.
El círculo no es un subespacio lineal de dimensión uno.
Dos coordenadas cerca del polo de una esfera
x²+y²+z²=1, cerca de (0,0,1).
Elegir
x e y pequeños son dos coordenadas.
Recuperar
z=√(1−x²−y²), con rama positiva.Regularidad
El polo no es singular aunque la longitud geográfica allí no esté definida.
La carta local evita confundir una coordenada fallida con una superficie rota.
Esta rama sola no cubre toda la esfera.
7. Rango, dimensión intrínseca y cantidad de datos no coinciden
El rango de C mide la dimensión del subespacio lineal generado por los centrados. Una curva puede necesitar varias direcciones lineales globales. Por eso el rango no es automáticamente su dimensión intrínseca.
Con n observaciones centradas, la suma de los es cero y el rango no supera min(d,n−1). Con datos finitos y ruido hacen falta supuestos de muestreo y escala para inferir una geometría subyacente; una nube pequeña admite modelos distintos.
Círculo con covarianza de rango dos
Puntos (1,0),(0,1),(−1,0),(0,−1).
Covarianza
La media es cero y C=(1/2)I.Rango
Sus dos autovalores son positivos: rango dos.
Origen geométrico
Todos están en un círculo de dimensión intrínseca uno.
Una PCA global no vuelve recta una curva cerrada.
Estos cuatro datos solos no demuestran que el generador real sea ese círculo.
Tres observaciones no dan cien direcciones independientes
n=3 observaciones de R¹⁰⁰.
Centrar
z₁+z₂+z₃=0, así z₃=−z₁−z₂.Subespacio
Los tres vectores están generados por como máximo dos direcciones.
Rango
C tiene rango a lo sumo dos, aunque el proceso desconocido pueda variar en muchas direcciones.
Pocos autovalores no nulos pueden reflejar solo la escasez de datos.
No se certifica una variedad bidimensional del proceso con este conteo.
8. Las vecindades y el mapa latente pueden introducir atajos o pérdidas
Métodos no lineales pueden construir grafos de vecinos para aproximar geometría local. Una escala demasiado pequeña desconecta; una grande puede unir puntos cercanos en el ambiente pero alejados sobre la estructura. Métrica y ruido influyen en qué conexiones tienen sentido.
La visualización puede distorsionar distancias y densidades. Se comprueban reconstrucción, sensibilidad a parámetros y utilidad para una tarea. Una “variedad latente” es un modelo con hipótesis, no una certificación obtenida al comprimir a dos coordenadas.
Elegir vecinos en cuatro puntos del círculo
Usa los cuatro puntos cardinales.
Distancias
Adyacentes: √2; opuestos: dos.
Umbrales
Con r=1 no hay aristas.Con r=3/2 aparece un ciclo.Con r=2 todas las parejas quedan conectadas.
Atajo
El camino entre opuestos mide 2√2 en el ciclo y dos en el grafo completo; el arco semicircular real mide π.
Cambiar vecindad cambia la distancia que aproxima el grafo.
Ninguno de esos grafos finitos reproduce exactamente todos los arcos.
Una coordenada que identifica puntos distintos
Proyecta el círculo sobre la coordenada x=cosθ.
Dos ángulos
θ y −θ tienen el mismo coseno.
Ejemplo
(0,1) y (0,−1) se comprimen ambos a cero.
Reconstruir
Sin información adicional no se sabe cuál era el punto.
Baja dimensión del objeto no garantiza que cualquier proyección de esa dimensión sea invertible.
Una coordenada periódica o varias cartas pueden representar otra geometría.
Ahora lo resolvemos de principio a fin.
EJEMPLO RESUELTO 1
Varianza explicada
Con autovalores 9,3,0, calcula la fracción explicada por la primera componente.
Datos
Autovalores nueve, tres y cero.
Total
9+3+0=12.Primera
Retiene una contribución nueve.
Cociente
9/12=3/4.Porcentaje
La fracción explicada es 75 %.
Comprobar
El total es positivo y el autovalor cero no añade varianza.
Explica el 75 %.
El autovalor cero no añade variación.
EJEMPLO RESUELTO 2
Dimensión de un círculo
Compara dimensiones intrínseca y ambiente de S¹⊂R².
Objeto
S¹ es el círculo unitario.
Ambiente
Sus puntos se escriben con dos coordenadas de R².
Local
Un arco se recorre con un parámetro angular.
Dimensión
Intrínseca uno y ambiente dos.
Global
El ángulo requiere periodicidad o varias cartas.
Comprobar
No es una recta ni un subespacio lineal unidimensional.
Intrínseca 1 y ambiente 2.
El círculo completo no es un subespacio lineal unidimensional.
Los símbolos que hemos usado
- Dimensión ambiente d
- Número de coordenadas con las que se representan los datos.
- Media μ
- Centro aritmético de la nube.
- Covarianza C
- Matriz que resume variación conjunta alrededor de la media.
- Componente principal
- Dirección propia de C ordenada por varianza.
- Dimensión intrínseca
- Número local de coordenadas necesarias para describir una estructura regular.
- Variedad latente
- Modelo geométrico de una estructura de menor dimensión que genera o aproxima los datos.
- Varianza explicada
- Proporción de la varianza total retenida por las direcciones elegidas.
Ahora te toca a ti.
Tienes cinco ejercicios. Inténtalos; las pistas te ayudan si te atascas.
Practicar este tema →