曹雪虹 信息论编码第二章课后习题答案

率分布如下： |XY| P(XY)| |---|---| |x1y1| 0.1| |x1y2| 0.2| |x1y3| 0.2| |x2y1| 0.3| |x2y2| 0.0| |x2y3| 0.1| |x3y1| 0.1| |x3y2| 0.0| |x3y3| 0.1| (1) 求 H(X)、H(Y)、H(XY)。 H(X)是实验X的熵，表示X的不确定性。计算如下： H(X) = - Σ p(x_i) log2 p(x_i) 其中，x_i为X的所有可能结果，p(x_i)是对应的概率。 H(Y)是实验Y的熵，计算方式与H(X)相同。 H(Y) = - Σ p(y_j) log2 p(y_j) H(XY)是联合熵，表示同时考虑X和Y时的不确定性。 H(XY) = - Σ p(x_i, y_j) log2 p(x_i, y_j) (2) 求条件熵 H(Y|X)。 条件熵H(Y|X)是在已知实验X的结果的情况下，实验Y的不确定性。计算如下： H(Y|X) = Σ p(x_i) H(Y|X=x_i) 其中，H(Y|X=x_i)表示在X取值为x_i时，Y的条件熵。 (3) 求互信息 I(X;Y)。 互信息I(X;Y)表示X和Y之间的信息关联，即知道了Y的信息能减少多少对X的不确定性。 I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) 通过以上计算，我们可以得出X、Y的独立性以及它们之间的关系。 本章内容涉及了信息论中的关键概念，包括马尔可夫信源的状态图与稳态概率计算、自信息量、熵、条件熵、互信息以及联合熵的计算。这些都是信息论编码理论的基础，对于理解信息的处理和传输至关重要。通过解决这些习题，学习者能够深入理解这些概念，并提高在实际问题中应用信息论方法的能力。