通信的数学理论-香农-中文版1.doc

香农《通信的数学理论》

近年来像 PCM 和 PPM 这些交换信号噪音比带宽等的多种调制方法的发展已经增强

了我们对一般通信理论的兴趣。这种理论的基础包括在重要的报纸

and

中关于此学科的内容。在当今的报纸中我们将延伸这种理论从而包括许多新的因素，特别是

噪声通道的影响，和存储可能的基于最初信息统计的结构和基于数据的最后目的性性质。

通信的基本问题是再制造一点或者准确地或者近似地一个从别处挑选的信息。通常信

是对数的功能。虽然当我们考虑统计信息的影响力以及对信息的持续排列这个定义必须被凝

练地概括，我们将在所有情况下用一个本质为对数的量度标准。

对数的测度更方便，主要有以下多方面的理由:

1. 它在实践上更有用。工程的重要参数，像时间、带宽、数字的分程传递等等，趋向

2. 它以适当的尺寸接近我们的直觉感观。如果我们直觉地用共同的标准线性比较测量

信息来源 传达者 接受者 目的地

干扰源

图 1—一个常规信息系统原理图

并 且

。 如 果 以 10 为 底 产 生 的 单 位 可 以 叫 十 进 制 数 字 。 因 为

。

，“某些影响通报速度的因素”贝尔系统科技刊物，1924 年 4 月，第 324 页；“电报传输

理论中某些总联机程序和信息控制系统”， A.I.E.E. Trans.v.47,1924 年 4 月，第 617 页。

一个十进制数大约

对于通信系统我们想要用一个系统的示意图图 1 阐明。它包括五个重要的部分：

1.一个制造信息或排序信息的信息源将被传达到终端。信息可能有各种不同类型:(a)电传打

一些函数—在彩色电视机中有三个函数 f(x,y,t),g(x,y,t),h(x,y,t)，定义在一个三维空间的闭联集

中—我们也可能想像这三个函数作为一个定义在区域矢量场的向量分量—同样地，个别黑白

电视机消息来源是许多三个变量的函数；(f)不同的混合物也会发生，例如在电视机中有联合

的音频信道。

2.用一些方法操作信息以产生在信道上传输的合适信号的传达者。在电话制造中这种操作包

括的仅仅是替换躁声压力为电流。在电信技术中我们有产生一系列点、莫尔斯电码、空间等

相关信息信道的编码、译码的操作。在一个多元的 PCM 系统不同的语音函数必须被取样压

缩, 量子化和编码,而且最后完全交叉存取地构造信号。声音传播机系统、电视和频率调制器

是其他的联合体操作应用于信息以获取信号的例子。

3.信道只是用来从传达者到接收者传送信号的媒介。它可能是一双电线、一个同桥电缆、一

条无线电电波,一个光束,等等。

4.接收者通常完成由传达者做的反运算,重建来自信号的信息。

第一部分：离散的无噪声系统

道就意味着一个系统怎么从可以从一个点传到另一个点被传输的有限集合元素符号

选择次序。每一个符号

被假定有确定的连续时间

例如电信技术中的点和莫尔斯电码）。这不需要有可能传输到系统的

的问题是如何测量这样一个信道传输信息的能力。

在电传打字的情况下所有符号有同样的持续时间，并且 32 个符号任何排序答案是简单

每秒 5n 比特的传输能力。这并不意味电传打字信道总是这个传输速度，这是可能的最大值

并且实际比率能否达到最大值取决于进入信道不久将会出现的信息源。

在不同长度的符号和约束的允许序列的更普通情形中，我们作以下定义：

定义：一个离散信道容量 C 由此公式给出：

其中 N(T)是持续时间为 T 时允许信号数目。

很容易看出在电传打字的情形下降低了当前的结果。可以看出问题中的极限在多数情况

的影响下存在一个最终的数目。假使所有符号的次序

都可能发生，并且这些符号的

个著名的有限差结果,N(t)于是渐进大数 t 到

,其中

是特征方程式的最大解:

因此 C 等于

是方程

的根。我们可以解得

C=0.539。一个置于允许序列约束的普通类型如下:我们想象一个可能的数字序列

。

莫尔斯电码

点

点

字母空间 莫尔斯电码

词空间

图 2—电报符号约束的图表

状态和线相应的那些连接点指示着状态中的可能符号和结果状态。在附录 1 中可以看出

如果允许序列的条件可以被描述在形态 C 中，结果将存在并且计算出它与以下结果一致：

定理 1：以

为从状态 i 到状态 j 的允许符号

容量可以由给出的增长率说明，每秒的比特数目需要详细说明所用的特殊符号。

我们现在考虑信息源。如何将信息源用数学方式描述，在所给信源每秒产生多少信息位

呢？这个问题的关键是关于降低信源必需的信道容量的统计知识的影响，通过利用适当的信

息编码。在电信技术中，例如，包括字母序列的被传输信息。然而，这些序列并不是完全随

意的。一般而言，他们组成句子并且有所谓英文的统计结构。字母 E 比字母 F 出现的频繁，

序列 TH 比序列 XP 出现的频繁，等等。这个结构的存在通过适当地编码信息序列到信号序

这个方法还被广泛应用于商业编码，其中常见字和短语是由极大地缩短平均时间的 4

2． 由量子化过程离散呈递的连续信息源。例如由 PCM 发射机发送的量子化演说，或

的例子。

(A)假设我们有 5 个都以 0.2 的可能性被选择的字母 A、B、C、D、E,连续选择是不受约束的。

第一页.