苏州大学强化学习讨论班——JHD 编辑整理 3 / 73
理得到 c，那么可以证明：a 和 c 的互信息不会超过 a 和 b 的互信息。这表明信息处
理不会增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息那多好
啊），保持了不变，这意味着输入 I 经过每一层 Si 都没有任何的信息损失，即在任何
一层 Si，它都是原有信息（即输入 I）的另外一种表示。现在回到我们的主题 Deep
Learning，我们需要自动地学习特征，假设我们有一堆输入 I（如一堆图像或者文本），
假设我们设计了一个系统 S（有 n 层），我们通过调整系统中参数，使得它的输出仍
然是输入 I，那么我们就可以自动地获取得到输入 I 的一系列层次特征，即 S1，… , Sn。
对于深度学习来说，其思想就是堆叠多个层，也就是说这一层的输出作为下一层
的输入。通过这种方式，就可以实现对输入信息进行分级表达了。
另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松
这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另
外一类不同的方法。上述就是 Deep Learning 的基本思想。
三、浅层学习（Shallow Learning）和深度学习（Deep
Learning）
浅层学习是机器学习的第一次浪潮。
20 世纪 80 年代末期，用于人工神经网络的反向传播算法（也叫 Back
Propagation 算法或者 BP 算法）的发明，给机器学习带来了希望，掀起了基于统计
模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用 BP 算法可以让一
个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种
基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这
个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perceptron），但实
际是种只含有一层隐层节点的浅层模型。
