Noisy Channel Coding（噪声信道编码）

### 噪声信道编码（Noisy Channel Coding） #### 关键知识点概述 在通信领域，**噪声信道编码**是一种处理数据传输过程中不可避免的噪声干扰的技术。它旨在通过增加冗余来改善通信质量，即使在存在噪声的情况下也能确保信息的准确传输。本课件深入探讨了噪声信道编码的基本概念、数学模型以及相关的理论基础。 #### 更多熵定义 - **联合熵**：联合熵\(H(X,Y)\)表示两个随机变量\(X\)和\(Y\)共同包含的信息量。其公式为： \[ H(X,Y) = -\sum_{x \in A_X} \sum_{y \in A_Y} P(x,y) \log P(x,y) \] 当两个随机变量独立时，联合熵等于各自熵的和，即\(H(X,Y) = H(X) + H(Y)\)。 - **条件熵**：条件熵\(H(X|Y)\)度量了在已知\(Y\)的条件下\(X\)的不确定性或信息含量。其公式为： \[ H(X|Y) = -\sum_{y \in A_Y} P(y) \left[ \sum_{x \in A_X} P(x|y) \log P(x|y) \right] = -\sum_{x \in A_X} \sum_{y \in A_Y} P(x,y) \log P(x|y) \] #### 互信息 - **互信息**\(I(Y;X) = I(X;Y)\)是衡量两个随机变量间相互依赖性的度量，表示学习\(Y\)的值后\(X\)的不确定性减少的程度。其公式为： \[ I(Y;X) = H(X) - H(X|Y) = H(Y) - H(Y|X) \] 其中\(H(X)\)是\(X\)的熵，\(H(X|Y)\)是\(X\)在\(Y\)已知情况下的条件熵。 - **条件互信息**\(I(Y;X|Z)\)是衡量在给定第三个随机变量\(Z\)的情况下，\(X\)和\(Y\)之间的互信息。其公式为： \[ I(Y;X|Z) = H(X|Z) - H(X|Y,Z) \] #### 噪声信道概览 - **现实中的通信信道**通常是充满噪声的，即会引入传输错误。为了克服这个问题，采用源编码和信道编码两种方法： - **源编码**的目标是从源数据中去除冗余。 - **信道编码**的目标是通过控制性地添加冗余使噪声信道的行为类似于无噪声信道。 #### 噪声信道 - **离散无记忆信道**由输入字母表\(A_X\)、输出字母表\(A_Y\)以及一组条件概率分布\(P(y|x)\)（对于每个\(x \in A_X\)）组成。这些条件概率可以写成矩阵形式，其中\(Q_{j|i} = P(y=b_j|x=a_i)\)。 #### 噪声信道的有用模型 - 本节可能介绍了一些常见的噪声信道模型，如二进制对称信道（Binary Symmetric Channel, BSC）、二进制输入加性高斯白噪声信道（Binary Input Additive White Gaussian Noise Channel, BI-AWGN）等。 #### 推断信道输入 - 当接收符号\(y\)时，如何计算输入符号\(x\)的概率？这里使用贝叶斯定理： \[ P(x|y) = \frac{P(y|x)P(x)}{P(y)} = \frac{P(y|x)P(x)}{\sum_{x'} P(y|x')P(x')} \] - 例如，假设一个Z信道的交叉概率\(f=0.15\)，输入概率为\(p(x=0)=0.9\)，\(p(x=1)=0.1\)。如果接收到\(y=0\)，则可以根据上述公式计算\(P(x|y)\)。 通过以上内容，我们可以了解到噪声信道编码的关键理论和技术，这对于理解和设计有效的通信系统至关重要。