一、什么是 Deep Learning？
实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必
须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，
常常用词集合来表示一个文档，或把文档表示在向量空间中（称为 VSM 模型），然后才能
提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，
后来人们提出了新的特征表示，如 SIFT，这种特征在很多图像处理的应用中表现非常良好，
特征选取得好坏对最终结果的影响非常巨大。因此，选取什么特征对于解决一个实际问题非
常的重要。
然而，手工地选取特征是一件非常费力、启发式的方法，能不能选取好很大程度上靠经验和
运气；既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！Deep
Learning 就是用来干这个事情的，看它的一个别名 Unsupervised Feature Learning，就可
以顾名思义了，Unsupervised 的意思就是不要人参与特征的选取过程。因此，自动地学习
特征的方法，统称为 Deep Learning。
二、Deep Learning 的基本思想
假设我们有一个系统 S，它有 n 层（S1,…Sn），它的输入是 I，
输出是 O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出 O
等于输入 I，即输入 I 经过这个系统变化之后没有任何的信息损失（呵
呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失”的说法（信
息处理不等式），设处理 a 信息得到 b，再对 b 处理得到 c，那么可以
证明：a 和 c 的互信息不会超过 a 和 b 的互信息。这表明信息处理不会
增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息
那多好啊），保持了不变，这意味着输入 I 经过每一层 Si 都没有任何的
信息损失，即在任何一层 Si，它都是原有信息（即输入 I）的另外一种
表示。现在回到我们的主题 Deep Learning，我们需要自动地学习特征，
