熵的模拟与理论和模拟的平均码长的对比,该定理为熵的定义提供了另一种证明速率——它是描述所需的每个符号的预期比特数过程。 最后,我们询问预期的描述长度会发生什么变化,如果代码是为错误的分布而设计的。 例如,错误的分布可能是我们对未知的真实情况的最佳估计分配。 我们考虑香农代码分配 l(x) = 日志设计用于概率质量函数 q(x)。 假设真概率质量函数是 p(x)。 因此,我们不会达到预期长度 L ≈ H(p) =−
p(x) 对数 p(x)。 我们现在证明增加由于分布不正确,在预期的描述长度中是相对的熵 D(p||q)。 因此,D(p||q) 有一个具体的解释为由于信息不正确,描述的复杂性增加。