3.16 (1)当 M=2
i
,这种情况下得到的是等长码,码长为 i。
(2)当 M=2
i
+1 平均码长为
3.17 方法一:概率之和与原信源某概率相等,概率之和往上排:
方法二:概率之和与原信源某概率相等,概率之和往下排:
两种方法得到的码集都是最佳的。
3.18 (1)shannon 编码,D=2
消息
x
1
x
2
x
3
x
4
x
5
x
6
x
7
x
8
码字
000 001 011 1000 1010 1011 1101 1110
(2)Fano 编码,D=2
消息 x
1
x
2
x
3
x
4
x
5
x
6
x
7
x
8
码字 00 010 011 100 101 110 1110 1111
(3)Huffman 编码,D=3
消息 x
1
x
2
x
3
x
4
x
5
x
6
x
7
x
8
码字 0 21 20 12 11 10 221 220
(4)Huffman 编码,D=4
消息
x
1
x
2
x
3
x
4
x
5
x
6
x
7
x
8
码字
2 0 33 32 31 30 11 10
3.21 (1)D=2
消息 x
1
x
2
x
3
x
4
x
5
x
6
x
7
x
8
x
9
x
10
码字 111 101 100 011 001 000 1101 1100 0101 0100
(2)D=3
消息
x
1
x
2
x
3
x
4
x
5
x
6
x
7
x
8
x
9
x
10
码字
22 21 20 12 10 02 01 00 111 110
3.22 方法一:概率之和与原信源某概率相等,概率之和往上排;
方法二:概率之和与原信源某概率相等,概率之和往下排;
第一种方法对实用更好
3.24 (1)H(X) = (1/4)log4 + (3/4)log(4/3) = 0.811
(2) q (0)=1/4,q (1)=3/4
(3)扩展信源
3