信息论与编码-陈运-第二章 信源熵-习题答案

信息论 编码 陈运 第二章 信源熵 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ ...... 在信息论中，熵是衡量信息不确定性的度量，它是由克劳德·香农在1948年提出的。本题主要涉及信源熵，它是描述一个离散信源发出符号的平均信息量。现在，我们将逐一解答题目中的各个问题。 2.1 四进制和八进制脉冲的信息量相对于二进制脉冲的倍数。信息量由熵来计算，对于等概率的符号，熵等于log2(n)，其中n是符号的种类数。四进制脉冲的熵是log2(4)，八进制脉冲的熵是log2(8)，二进制脉冲的熵是log2(2)。因此，四进制和八进制脉冲的信息量分别是二进制脉冲的2倍和3倍。 2.2 身高160厘米以上且是大学生的女孩的信息量。我们需要计算两个独立事件的概率乘积，然后取其负对数得到信息量。女孩是大学生的概率是0.25，身高160厘米以上的概率是0.5。两者同时发生的概率是0.125，所以信息量是-log2(0.125)。 2.3 对于一副充分洗乱的牌，(1) 任一特定排列的信息量是log2(52!)，因为有52!种可能的排列。 (2) 抽取13张点数不同的牌的信息量，考虑到每种点数只能抽一次，信息量是log2(52选13)。 2.4 给定的离散无记忆信源序列的自信息量和平均信息量。自信息是单个符号的信息量，计算每个符号出现的概率的负对数。平均信息量是所有符号的自信息量之和除以符号总数。 2.5 对于男性和女性回答是否色盲的问题，信息量是概率的负对数。男性中色盲的概率是0.07，非色盲是0.93；女性中色盲是0.005，非色盲是0.995。计算两个回答的自信息量，再求平均值。 2.6 信源熵不满足极值性，意味着熵不是最小的，可能是因为信源的符号概率不均匀分布，导致某些符号出现的频率较高，使得熵大于log6。 2.7 验证条件熵H(X3|X1X2)小于或等于H(X3|X1)，当X1，X2，X3构成马尔科夫链时等号成立，这是信息条件独立性的体现。 2.8 证明联合熵H(X1X2...Xn)小于或等于各分量熵之和，这基于熵的加法性原理，表示多个独立信源的总信息量不超过各自信息量之和。 2.9 (1) 判断信源是否平稳，要看符号出现的概率是否与时间无关。根据给定条件，信源是平稳的。 (2) 计算二阶熵H(X2)，条件熵H(X3|X1X2)，无穷熵H∞。 (3) 计算H(X4)并列出所有可能的符号序列。 2.10 (1) 计算一阶马尔可夫信源的平稳概率分布。 (2) 求出该信源的熵H∞，这是马尔可夫信源的长期熵。 2.11 (1) 计算无记忆信源熵H(X)。 (2) 对于一阶马尔可夫信源，计算熵H2(X)。 (3) 比较两者的剩余度，并解释其物理含义。 2.12 (1-2) 计算两个事件的自信息，即“3 和 5 同时出现”以及“两个 1 同时出现”。 (3) 计算所有无序点数对的熵和平均信息量。 (4) 求出两个点数之和的熵。 (5) 计算至少有一个点数为1的自信息量。 以上就是对信息论与编码第二章信源熵习题的详细解答，涵盖了熵的概念、计算方法以及信息量在不同情境下的应用。通过这些例子，我们可以深入理解信息论中的基本概念和计算规则。