信息论是通信理论的核心部分，它研究如何度量和处理信息。本章主要涉及信息量、熵、码元速率和信息速率等相关概念。
1. **信息量**：信息量是衡量一个事件不确定性的度量。在给定的例子中，符号“E”和“Z”的信息量可以通过计算其负对数概率得到。对于符号“E”，信息量 = -log2(0.1073) ≈ 3.22 bit，对于符号“Z”，信息量 = -log2(0.00063) ≈ 10.63 bit。同样，数字“0”和“8”的信息量分别是 -log2(0.155) ≈ 2.69 bit 和 -log2(0.06) ≈ 4.06 bit。
2. **熵（Entropy）**：熵是描述信源平均信息量的统计性质，表示为消息出现的概率与其信息量的乘积的加权平均。对于四个消息A、B、C、D，其熵H(X) = -[P(A)log2(P(A)) + P(B)log2(P(B)) + P(C)log2(P(C)) + P(D)log2(P(D))]。根据给定概率1/4，1/8，1/8，1/2，可以计算得到熵约为1.75 bit/符号。
3. **信息量的比较**：四进制和八进制的每一位代表的信息量分别是二进制的2倍和3倍，因为每个符号的可能状态数分别为2、4和8，对应的信息量分别为log2(2)，log2(4)和log2(8)。
4. **码元速率与信息速率**：码元速率是指单位时间内传输的码元数量，例如问题4中的系统码元速率为1000波特。信息速率则是码元携带的信息量与码元速率的乘积，对于等概率的4个脉冲，信息速率为1600 bit/s。
5. **电视图像的信息速率**：图像的信息速率取决于像素的亮度级别、帧率、行数以及像素间的独立性。这里每秒25帧，每帧625行，10级亮度，每个像素独立且等概率，所以信息速率约为6*10=600 bit/s，乘以帧率25，得到信息速率为15000 bit/s。
6. **编码与信息速率**：(1)二进制编码时，平均信息速率取决于字母出现的概率。等概率时，平均信息速率为2*100=200 bit/s，不等概率时，使用概率计算信息速率，得到99.3 bit/s。四进制编码时，等概率情况下的信息速率与脉冲宽度相关，10ms时为200 bit/s，20ms时为100 bit/s。
7. **唯一可译码**：唯一可译码是编码方式，使得每个码字只对应一个信源符号，A、B、C、E是唯一可译码。其中，E组的平均码长最短，因为其码字长度与概率匹配得最好。
8. **二进制对称信道（BSC）的容量**：信息容量C是信道能够无误传输的最大信息速率，公式为C = 1 - H(p)，其中H(p)是错误转移概率的熵。分别计算p=0, 0.2, 0.5时的C值。
9. **非对称二进制信道**：信息传输速率与互信息I(A;B)有关，计算互信息并根据信符速率得出实际和最大信息传输速率。
10. **二进制删除信道（BEC）**：信道容量C为1-P，其中P是删除概率。
11. **高斯信道**：高斯信道的容量由奈奎斯特定理给出，C = W log2(1 + SNR)，其中W是信道带宽，SNR是信噪比。计算双边噪声功率普密度和接收端信号功率，得到信道容量。
这些例子展示了信息论中的基本概念及其在通信系统中的应用，包括信息量计算、熵的确定、码元速率和信息速率的计算，以及不同信道的容量分析。
