Entropía dinámica

Con probabilidad p>0, la información del resultado es −log p. Un resultado poco probable sorprende más. Para una partición finita con probabilidades pᵢ, la entropía es . i recorre los m resultados: calculamos cada término y luego los sumamos.

En base dos, la unidad es el bit; con logaritmo natural, el nat. Para convertir nats en bits dividimos entre log2 natural. Con m resultados, 0≤H≤log m: el máximo corresponde a probabilidades iguales y el mínimo a un resultado seguro. La cota superior se justifica por concavidad o por la desigualdad de entropía respecto a la distribución uniforme.

La parte condicional mide cuánto queda por saber de Y una vez conocido X. Sale de escribir p(x,y)=p(x)p(y|x) en parejas de probabilidad positiva y separar el logaritmo del producto.

La información condicional está entre cero y H(Y). Por eso H(X,Y)≤H(X)+H(Y), con igualdad bajo independencia. Si Y queda determinada por X, la parte condicional es cero aunque Y por separado parezca incierta. Las distribuciones marginales iguales no bastan para sumar sus entropías.

Sea T medible y preservando una probabilidad μ. Una partición P etiqueta cada estado por la pieza donde está. Observar x,Tx,…,Tⁿ⁻¹x produce una palabra de longitud n. La pieza de estados que da una palabra es una intersección de Pᵢ₀, T⁻¹Pᵢ₁,…,T⁻⁽ⁿ⁻¹⁾Pᵢₙ₋₁.

El refinamiento Pⁿ reúne esas intersecciones. H(Pⁿ) es entropía conjunta del bloque, no la suma automática de entropías marginales. Aunque T sea determinista, el estado inicial puede estar distribuido según μ y la observación tener resolución limitada. La incertidumbre no exige lanzar un azar nuevo dentro de la fórmula de T.

Dividir un bloque de n+m en dos y usar invariancia de medida da aₙ₊ₘ≤aₙ+aₘ. Esta subaditividad y el lema de Fekete aseguran la existencia de h(T,P)=lim aₙ/n=inf aₙ/n.

Una tasa cero permite incertidumbre creciente si crece sublinealmente. La entropía de una posición no determina la tasa: hay que conservar las dependencias entre tiempos. La unidad aquí es bits o nats por iteración, según el logaritmo.

La entropía métrica es hμ(T)=supP hμ(T,P), sobre particiones medibles finitas. Una partición generadora permite recuperar toda la información medible al observar sus iteraciones, módulo conjuntos nulos. En un sistema invertible se usan todos los tiempos enteros; en un sistema unilateral se pide la generación hacia delante cuando corresponda.

El teorema de Kolmogorov–Sinai afirma que un generador finito ya calcula hμ(T). Sin demostrar que la partición genera, su tasa proporciona una cota inferior. Tampoco se debe confundir entropía de la partición en un tiempo y tasa de la partición durante una órbita.

En un desplazamiento de Bernoulli, las coordenadas son independientes con probabilidades pᵢ.

La tasa es H(p). No se exige que todas las probabilidades sean iguales.

En una cadena de Markov finita estacionaria, πP=π y el siguiente símbolo depende del presente por la fila Pᵢ·.

La tasa es el promedio de entropías de filas, −ΣπᵢPᵢⱼlogPᵢⱼ.

Con Lebesgue, el generador binario de D(x)=2x mod1 da 2ⁿ intervalos de longitud 2⁻ⁿ en un bloque de n pasos. La entropía es nlog2 nats y la tasa log2 nats por iteración, equivalente a un bit.

Con δ₀, la masa puntual en su punto fijo, toda partición tiene un único nombre con probabilidad uno. Su entropía métrica es cero. La fórmula algebraica del mapa es la misma: lo que cambia es la distribución de estados. Los puntos periódicos de una medida nula no determinan la entropía de Lebesgue.

Para T continua sobre un compacto métrico, dₙ(x,y)=max₀≤j<n d(Tʲx,Tʲy). Un conjunto es (n,ε)-separado si cada pareja se distingue por más de ε en algún instante del bloque. El crecimiento exponencial del máximo número sₙ(ε), primero en n y luego al reducir ε, define htop(T).

El principio variacional afirma htop(T)=supμ hμ(T) entre probabilidades borelianas invariantes. No dice que todas las medidas alcancen ese supremo ni garantiza siempre una maximizante. Una rotación isométrica conserva dₙ=d, así que sus cantidades separadas no crecen con n y su entropía topológica es cero.

Una conjugación medible invertible módulo nulos que preserve medidas y entrelace los mapas transporta particiones con sus probabilidades; conserva la entropía métrica. Cambiar el paso temporal sí cambia la unidad: hμ(Tᵏ)=k hμ(T), para k entero positivo.

La entropía no clasifica todos los sistemas. Mezcla, ergodicidad y exponentes de Lyapunov añaden información distinta. Las fórmulas que relacionan entropía y exponentes requieren regularidad y condiciones sobre la medida. Una muestra finita puede omitir palabras raras y sesgar una estimación: no prueba sola el límite asintótico.