2011年信息论复习题加练习题

信息论是一门结合通信技术、概率论、随机过程和数理统计的新兴科学，由香农在1948年的论文中奠定理论基础。它的主要目的是发现信息传输的普遍规律，提升信息传输的可靠性、有效性、保密性和认证性，以优化通信系统。信息论的研究内容包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论以及密码学理论。 信息作为信息论的基本概念，是事物运动状态或存在方式不确定性的描述。通信系统中，信息表达分为信号、消息和信息三个层次：消息是信息的载体，信号是消息的运载工具，而信息是信号和消息的内涵。信息熵是衡量信源不确定性的量，它是自信息的数学期望，表示信源的平均不确定性或平均信息量。信息熵具有对称性、确定性、非负性、扩展性、可加性、递增性和极值性等性质。 信道疑义度是衡量接收符号集中的条件熵，平均互信息则表示收到消息后获得的信息量，信道容量是最大信息传输率，这些概念在通信中至关重要。信源编码和信道编码分别用于提高信息传输速率和增强信号的抗干扰能力，香农的三个编码定理——无失真变长信源编码定理、有噪声信道编码定理和限失真信源编码定理，为高效可靠的通信提供了理论支持。 在证明题中，第一题证明了多个随机变量的信息熵不小于各自信息熵的和，体现了信息的组合不会减少不确定性。第二题表明无记忆信源的N次扩展其信息熵为N倍的原信源熵，反映了无记忆信源的独立性。第三题证明了联合熵与条件熵之间的关系，即H(XY)等于H(X)加上在已知Y时X的条件熵H(Y/X)，这体现了信息的分解和依赖性。 计算题部分涉及自信息量和平均信息量的计算，以及二维平稳信源的相关概率分析。自信息量是特定事件发生的负对数概率，而平均信息量是所有可能事件自信息量的加权平均。在二维平稳信源中，计算联合概率和条件概率，可以进一步分析信源的统计特性。 信息论是研究信息的量化、传输和处理的理论，它通过各种概念和定理，如信息熵、信道容量、编码理论等，为通信工程提供了理论框架和解决问题的方法。理解和应用这些知识点，对于理解和改进通信系统的性能至关重要。