"信息论与编码_陈运_课后答案[2-5章]"
本文档总结了信息论与编码的重要概念和公式，通过对问题的解答，展示了信息论的基本原理和应用。
2.1Four-ary和八进制脉冲所含信息量是二进制脉冲信息量的多少倍？
四进制脉冲可以表示 4 个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示 2 个不同的消息，例如：{0, 1}
假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量 = log2(4) = 2 bit
八进制脉冲的平均信息量 = log2(8) = 3 bit
因此，四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 如果我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？
设随机变量 X 代表女孩子学历，P(X=1) = 0.25，P(X=2) = 0.75
设随机变量 Y 代表女孩子身高，P(Y=1) = 0.5，P(Y=2) = 0.5
已知：在女大学生中有 75% 是身高 160 厘米以上的
P(X=1, Y=1) = 0.25 × 0.75 = 0.1875
P(X=1, Y=2) = 0.25 × 0.25 = 0.0625
P(X=2, Y=1) = 0.75 × 0.5 = 0.375
P(X=2, Y=2) = 0.75 × 0.5 = 0.375
因此，身高 160 厘米以上的某女孩是大学生的信息量为：
I(X;Y) = H(X) - H(X|Y)
= -Σp(x)logp(x) - Σp(x,y)logp(x|y)
= -0.25log0.25 - 0.75log0.75 - 0.1875log0.1875 - 0.0625log0.0625 - 0.375log0.375 - 0.375log0.375
≈ 1.415 bit
2.3 一副充分洗乱了的牌（含 52 张牌），试问（1）任一特定排列所给出的信息量是多少？（2）若从中抽取 13 张牌，所给出的点数都不相同能得到多少信息量？
（1）52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
I = log2(52!) ≈ 225.2 bit
（2）52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下：
P(C) = 4^13 × 13! / 52!
I(C) = -Σp(c)logp(c) ≈ 208.134 bit
2.4 设离散无记忆信源，求（1）此消息的自信息量是多少？（2）此消息中平均每符号携带的信息量是多少？
（1）此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是：
p = (1/4)^14 × (1/4)^13 × (1/4)^12 × (1/4)^6
I = -log2(p) ≈ 811.87 bit
（2）此消息中平均每符号携带的信息量是：
I_avg = I / 32 ≈ 25.37 bit
2.5 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？
男士：
I(X=x) = -Σp(x)logp(x) ≈ 0.366 bit
I(Y=y) = -Σp(y)logp(y) ≈ 0.837 bit
I(X=x,Y=y) = -Σp(x,y)logp(x,y) ≈ 0.307 bit
女士：
I(X=x) = -Σp(x)logp(x) ≈ 0.045 bit
I(Y=y) = -Σp(y)logp(y) ≈ 0.995 bit
I(X=x,Y=y) = -Σp(x,y)logp(x,y) ≈ 0.159 bit
2.6 设信源=������17.016.017.018.019.02.0)(654321xxxxxxXPX，求这个信源的熵，并解释为什么H(X) > log6 不满足信源熵的极值性。
H(X) = -Σp(x)logp(x)
= -0.17log0.17 - 0.16log0.16 - 0.17log0.17 - 0.18log0.18 - 0.02log0.02
≈ 2.585 bit
H(X) > log6，因为信源的熵是基于概率分布的，而不是基于符号的数量。
