Entropía
1. Una cantidad termodinámica que mide la energía no disponible. Una entropía alta representa un aumento del desorden. La entropía nunca disminuye en una reacción de acuerdo con la segunda ley de la termodinámica. Ver funciones termodinámicas y la figura T-2.
2. Un conjunto G tiene la entropía H(G):
donde N es la cantidad mínima de elementos necesarios para definir G.
3. Una medida de la incertidumbre en un mensaje. Si P(mi) es la probabilidad de que el mensaje mi sea transmitido, luego la entropía H, donde hay i posibles mensajes, está dada por
La entropía de una situación sin incertidumbre es cero. La entropía es una medida del contenido de información promedio de un mensaje.