【信息论与编码知识点】
1. **熵与条件熵**:熵是衡量信源不确定性的度量,条件熵则是指在已知某些信息的情况下,信源的不确定性。当随机变量X和Y相互独立时,条件熵H(Y|X)等于信源熵H(Y)。
2. **码集生成**:不同的基底可以生成相同的码集,这是因为码字的生成是由基底矩阵决定的,不同的矩阵可能对应同一种码字集合。
3. **变长编码与定长编码**:通常情况下,变长编码(如霍夫曼编码)能够得到比定长编码更短的平均码长,从而更高效地表示信息。
4. **信道容量与信息传输率**:根据香农第一定理,只要信息传输率小于等于信道容量,就存在一种编码方式使得数据能以任意小的错误概率可靠传输。反之则无法保证可靠性。
5. **克拉夫特不等式**:它是唯一可译码存在的必要条件,确保码字间的最小距离大于等于1,以避免码字混淆。
6. **熵的非负性**:无论是离散信源还是连续信源,其熵都具有非负性,这是熵的基本性质。
7. **失真与信息量**:信源传输后的失真越大,信宿接收到的信息不确定性越小,因此获得的信息量也越小。
8. **汉明码**:汉明码是一种纠错码,属于线性分组码,可以检测并纠正一定数量的错误。
9. **率失真函数**:率失真函数描述了在给定的失真水平下,最小的平均码率。最小值出现在最优的信源-信道匹配条件下。
10. **自信息量**:必然事件的自信息量为0,表示没有新信息;而不可能事件的自信息量无穷大,因为它的出现意味着违反了概率规则。
**填空题知识点**:
1. 码的检、纠错能力取决于码的生成矩阵和编码方式。
2. 信源编码目的降低带宽需求,信道编码目的是提高抗干扰能力。
3. 原封不动地搬运信息的编码称为无损编码。
4. 香农信息论三大极限定理:信源编码定理、信道编码定理、数据压缩定理。
5. 输入输出随机序列关系成立的条件是信道概率转移矩阵。
6. 唯一编码方法是哈夫曼编码。
7. 失真矩阵对应信源的失真率。
**计算题知识点**:
1. 转移概率矩阵用于计算信源和信道的相关参数,如不确定度、信道容量等。
2. 一阶马尔可夫信源的分析涉及状态转移概率、平稳分布、熵的计算。
3. 紧致码的构造涉及码字设计,确保编码的有效性和纠错能力。
4. 二元线性分组码的生成矩阵用于构建一致校验矩阵,进行错误检测和纠错。
**应用题知识点**:
1. 信源编码的目的在于压缩信息,减小传输带宽;信道编码则为了对抗传输过程中的干扰。
2. 信源的剩余度与信息熵、冗余度相关,衡量信源未被编码信息的不确定性。
3. 三进制信源的熵范围在0到log3(3)之间。
4. 无失真编码的平均码长理论极限制是信源熵。
5. 信源与信道匹配时,信源熵等于信道容量。
6. 时间不变的信道称为静态信道,反之为动态信道。
7. 根据是否允许失真,信源编码分为无失真编码和有失真编码。
8. 当连续信源输出信号是均匀分布时,具有最大熵。
9. 相对熵和绝对熵的计算涉及概率密度函数的比较。
10. 霍夫曼编码法用于构建最优化的变长编码,计算平均码长、编码信息率、编码效率等。
11. 信息传输速率的计算基于信源符号的出现概率和码元宽度。
12. 通过加性白高斯噪声信道传输数据时,需要计算发送功率,确保信号噪声比足够大。
13. 马尔可夫信源的状态转移图、稳态概率、极限熵、剩余度的计算涉及状态转移矩阵。
14. 扰信道的信道容量取决于输入输出概率分布和信道特性。
15. 两个独立二元随机变量的乘积Z的熵、条件熵、互信息等与X、Y的熵有关。
以上知识点涵盖了信息论与编码的基本概念、原理和计算方法,涉及到熵、码字设计、信源和信道编码、马尔可夫信源以及信道容量等多个重要方面。