Cuatro símbolos equiprobables: calcula H en bits.
Usa log₂4.
Se pide la unidad bits.
El resultado es2 bits. Los cuatro símbolos equiprobables alcanzan la cota log₂4.
Un único símbolo de probabilidad uno tiene ¿qué entropía?
log1=0.
La única probabilidad positiva es1; los símbolos imposibles, si se incluyen, contribuyen0 por la convención0log0=0.
El término restante es−1·log1=0, en cualquier base válida del logaritmo.
La entropía es0 porque la observación está determinada de antemano.
Cinco bits equilibrados independientes tienen ¿cuántos bits de entropía?
Suma una unidad por paso.
Cada bit equilibrado tiene entropía1 bit.
La independencia conjunta hace que las2⁵=32 palabras tengan probabilidad1/32 y permite sumar las cinco entropías.
La tasa por bit observado sigue siendo1.
Deriva H=log m para m símbolos equiprobables.
Sustituye pᵢ=1/m.
Simplifica m(1/m)=1 y usa log(1/m)=−log m; por tanto H=log m.
La base elegida determina la unidad: log₂m bits o ln m nats.
Da un proceso con dos símbolos posibles pero tasa de entropía cero.
Repite para siempre el primer símbolo elegido.
Elige Z∈{0,1} con probabilidades1/2 y define Xₙ=Z para todos los tiempos. El proceso es estacionario.
El bloque de longitud n solo puede ser00···0 o11···1, cada palabra con probabilidad1/2.
La entropía conjunta es1 bit para cualquier n≥1, aunque cada símbolo marginal también tenga1 bit.
La tasa es limₙ1/n=0: después de la primera observación, las siguientes no añaden incertidumbre. Este proceso tampoco es ergódico, pues la elección inicial define dos componentes invariantes.