信息论与编码课后习题参考答案.pdf

"信息论与编码课后习题参考答案" 以下是对给定文件的标题、描述、标签和部分内容的解读和知识点总结： 信息论与编码 信息论是研究信息的表示、存储和传输的学科。编码是将信息转换为可以通过通信信道传输的形式的过程。 离散信源 离散信源是指信源的输出是离散的符号序列。例如，掷骰子、抛硬币等都是离散信源。 信息量 信息量是衡量事件不确定性的度量。事件的信息量越大，表明事件的不确定性越高。信息量通常用比特（bit）作为单位。 熵 熵是衡量信源的不确定性的度量。熵越高，表明信源的不确定性越高。 习题解析 1.1 同时掷一对均匀的子，试求： (1)“2 和 6 同时出现”这一事件的自信息量； (2)“两个 5 同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是 1”的自信息量。 解：使用信息论公式计算事件的自信息量和熵。 1.2 有 6 行、8 列的棋型方格，若有两个质点 A 和 B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb）,但 A，B 不能同时落入同一方格内。 (1)若仅有质点 A，求 A 落入任一方格的平均信息量； (2)若已知 A 已落入，求 B 落入的平均信息量； (3)若 A，B 是可辨认的，求 A，B 落入的平均信息量。 解：使用信息论公式计算事件的自信息量和熵。 1.3 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%。如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解：使用信息论公式计算事件的自信息量和熵。 1.4 某一无记忆信源的符号集为｛0，1｝，已知。，323110pp (1)求符号的平均信息量； (2)由 1000 个符号构成的序列，求某一特定序列（例如有 m 个“0”,（1000-m）个“1”）的自信量的表达式； (3)计算（2）中序列的熵。 解：使用信息论公式计算事件的自信息量和熵。 信息论与编码习题参考答案涵盖了离散信源、信息量、熵等信息论基本概念，并通过习题的解析，帮助读者更好地理解和掌握信息论的知识点。