深度学习方法比较

preview
试读
8页
深度学习
3星 · 超过75%的资源 需积分: 0 18 下载量 57 浏览量 更新于2014-06-21 2 收藏 1.65MB PDF 举报
本篇文章描述了几种深度学习算法，并比较它们之间的优劣
２０１２拄
第３２卷第５期
河北大学学报（自然科学版
）
２０１２
Ｊｏｕｒｎａｌ
ｏｆ
Ｈｅｂｅｉ
Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ
Ｓｃｉｅｎｃｅ
Ｅｄｉｔｉｏｎ）
Ｖ０１．３２
Ｎｏ．５
深度学习结构和算法比较分析
李海峰１，李纯果２
（１．河北大学教务处，河北保定０７１００２；２．河北大学数学与计算机学院，河北保定０７１００２）
摘
要：Ｈｉｎｔｏｎ等人提出的深度机器学习，掀起了神经网络研究的又一个浪潮．介绍了深度机器学习的
基本概念和基本思想．对于目前比较成熟的深度机器学习结构深度置信网ＤＢＮｓ和约束Ｂｏｌｔｚｍａｎｎ机
（ＲＢＭ）的结构和无监督贪婪学习算法作了比较详细的介绍和比较，并对算法的改进方向提出了有建设性的
意见，对深度机器学习的未来发展方向和目前存在的问题进行了深刻的分析．
关键词：深度机器学习；无监督贪婪学习算法；ＤＢＮｓ；ＲＢＭｓ
中图分类号：ＴＰ３９１
文献标志码：Ａ
文章编号：１０００—１５６５（２０１２）０５—０５３８一０７
Ｎｏｔｅ
ｏｎ
ｄｅｅｐ
ａｒｃｈｉｔｅｃｔｕｒｅ
ａｎｄ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ
ａｌｇｏｒｉｔｈｍｓ
ＬＩ
Ｈａｉｆｅｎ９１，ＬＩ
Ｃｈｕｎｇｕ０２
（１．Ｄｅｐａｒｔｍｅｎｔ
ｏｆ
Ａｃａｄｅｍｉｃ
Ａｆｆａｉｒｓ，Ｈｅｂｅｉ
Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ
０７１００２，Ｃｈｉｎａ；
２。Ｃｏｌｌｅｇｅ
ｏｆ
Ｍａｔｈｅｍａｔｉｃｓ
ａｎｄ
Ｃｏｍｐｕｔｅｒ
Ｓｃｉｅｎｃｅ，Ｈｅｂｅｉ
Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ
０７
１００２，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｄｅｅｐ
ａｒｃｈｉｔｅｃｔｕｒｅｓ
ｐｒｏｐｏｓｅｄ
ｂｙ
Ｈｉｎｔｏｎ
ｅｔ
ａｌ
ｓｔｉｒ
ｕｐ
ａｎｏｔｈｅｒ
ｓｔｕｄｙ
ｗａｖｅ
ｉｎ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ．
Ｔｈｉｓ
ｐａｐｅｒ
ｉｎｔｒｏｄｕｃｅｄ
ｔｈｅ
ｉｄｅａ
ａｎｄ
ｂａｓｉｃ
ｃｏｎｃｅｐｔｓ
ｉｎ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ．ＤＢＮｓ
ａｎｄ
ＲＢＭｓ
ａｒｅ
ｔｈｅ
ａｄｖａｎｃｅｄ
ｓｔｒｕｃｔｕｒｅｓ
ｏｆ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ，ｗｈｏｓｅ
ｓｔｒｕｃｔｕｒｅｓ
ａｎｄ
ｅｆｆｅｃｔｉｖｅ
ｌｅａｒｎｉｎｇ
ａｌｇｏｒｉｔｈｍ
ａｒｅ
ａｌｓｏ
ｉｎｔｒｏｄｕｃｅｄ
ｉｎ
ｄｅｔａｉｌ
ｉｎ
ｔｈｉｓ
ｐａｐｅｒ．Ｉｎ
ａｄｄｉｔｉｏｎ，ｏｐｅｎ
ｑｕｅｓｔｉｏｎｓ
ｉｎ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ
ａｒｅ
ａｌｓｏ
ｂｒｉｅｆｌｙ
ｄｉｓｐｌａｙｅｄ
ＳＯ
ｔｈａｔ
ｒｅｓｅａｒｃｈｅｒｓ
ｗｈｏ
ａｒｅ
ｉｎｔｅｒｅｓｔｅｄ
ｉｎ
ｃａｎ
ｄｅｖｏｔｅ
ｔｈｅｍｓｅｌｖｅｓ
ｉｎｔｏ
ｔｈｏｓｅ
ｑｕｅｓｔｉｏｎｓ
ａｎｄ
ｓｏｌｖｅ
ｔｈｅｍ．
Ｋｅｙ
ｗｏｒｄｓ：ｄｅｅｐ
ｌｅａｒｎｉｎｇ；ｇｒｅｅｄｙ
ｌｅａｒｎｉｎｇ
ａｌｇｏｒｉｔｈｍ；ＤＢＮｓ；ＲＢＭｓ
随着电脑的普及与发展，智能化、机械化成为人们关注的热点．机器学习是仿照人类大脑工作的方式，让
电脑进行计算，学习到类似于大脑的工作方式．为此，研究学者需要构建计算机能够运作的模型，例如，神经
网络就是根据人类的大脑神经的激活或抑制的信号传输构建的模型［１］．神经网络的基本组成单位就是神经
元，神经元的构造方式完全模拟了人类大脑细胞的结构，如图１．但是，显而易见，人工神经元只是简单的结
构的模拟，要想达到与生物神经元有相同的功能，还远远的不够．科研工作者就其训练的方式对其进行训练。
试图让人工神经网络的运算功能尽可能的与人类接近．简单的网络已经可以进行基本的运算，甚至有２个隐
含层的非线性神经网络已经能够对任意的函数进行平滑的逼近．从１９４３年ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ提出的简单
神经元开始，神经网络经历了几度兴衰．神经网络已经深入到各个领域，技术相对比较成熟，然而也很难再有
收稿日期：２０１２—０４—０５
基金项目：保定市科学技术研究与发展指导计划项目（１２ＺＧ００５）；河北省高等学校科学研究计划项目（ＪＹＧＨ２０１１０ｔ１）
第一作者：李海峰（１９８０一），男，河北唐县人，河北大学讲师，主要从事机器学习、教学信息化等研究．
Ｅ－ｍａｉｌ：ｌｉｈｆ＠ｈｂｕ．ｅｄｕ．ｃｒｌ
万方数据
第５期
李海峰等：深度学习结构和算法比较分析
新突破．人类完成的日常生活中的各种简单的动作，如果让计算机来完成，就需要高度复杂的神经网络来完
成．因此，Ｈｉｎｔｏｎ等人提出了深度学习，掀起了神经网络研究的又一次浪潮．
ＮＵｃ
１
深度学习
圈１生物神经元与人工神经元
№１
Ｓｔｒｕｃｔｕｒｅ
ｏｆ
Ｍ¨ｏｇＩ叫ａｎｄ＂珊垴ｍ琳—舢
深度学习是为了能够得到有助于理解图片、声音、文本等的数据所表述的意义而进行的多层次的表示和
抽取的学习［２］．例如，给定图２中的图片，大脑做出的反应是：“许多黄色的郁金香．”同样的图片．输入到计算
机中，是描述图片的最原始数据，那就是用向量表示的像素．用简单的机器学习，例如用含２个或３个隐含层
的神经网络，是不可能达到与人类类似的判别决策的．这就需要多层的学习器，逐层学习并把学习到的知识
传递给下一层，以便下层能够得到更高级别的表述形式，期望可以得到与人类类似的结论［２］．
１．１学习的深度
学习器的深度，决定于学习器的构造．假设学习器为一个有向流通图，那么深度就是从开始结点到结束
结点（或从输入结点到输出结点）的最长路径．例如，一个支撑向量机的深度是２，是输人经过一个核变换到
核空间，再加上一个线性组合．再如多层前传神经网络的深度是隐含层层数加１（输出层）．如果说学习到一
次知识，就是一个深度的话，那么，学习的深度是原始数据被逐层学习的次数．
根据学习的深度，机器学习可以分为浅度学习和深度学习．对于简单的计算，浅度学习可以有效地进行
计算，例如二进制数据的逻辑运算．显然，如果想让机器达到人脑的反应效果，浅度学习是远远不够的，必须
要进行深度的机器学习，才有可能得到与人脑反应近似的结果．实际上，深度的机器学习正是模拟了人脑的
工作方式．对于图２中的图片，先由视网膜接受数据信号，视网膜通过神经链接，把看到的图片转化成脑波信
号传输到大脑中，由于大脑的不同部位处理不同的问题，信号不可能一下子就传到相应位置，需要层层传输．
同时，在信号传输过程中，大脑会提取不同的信息，饲如，花的颜色、形状、个数、位置、个体差异等等．因此，深
度的机器学习模型需要具备类似的特征，也即，深度的机器学习模型可以提取观察对象的不同方面的特征．
为此，深度的机器学习模型通常为分层结构，每一层提取数据的１个或多个不同方面的特征，并把提取出的
特征作为下一层的输入．图３是一个典型的深度学习模型．
啊２待识嗣的圈片
Ｆｉｇ．２
Ｐｉｃｔｕｒｅ
ｆｏｒ
ｒｅｃｏｇｎｉｔｉｏｎ
口
…ｅｔｃ…
圈３深度机■学习羹墨
Ｆｉｇ．３
Ｄｅｅｐ
ｋ柚咖ｇ
ｍｏｄｅｌ
万方数据

剩余7页未读，继续阅读

资源推荐
资源评论
裕之
  • 粉丝: 0
  • 资源: 2
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源