２０１２拄
第３２卷第５期
河北大学学报（自然科学版
）
２０１２
Ｊｏｕｒｎａｌ
ｏｆ
Ｈｅｂｅｉ
Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ
Ｓｃｉｅｎｃｅ
Ｅｄｉｔｉｏｎ）
Ｖ０１．３２
Ｎｏ．５
深度学习结构和算法比较分析
李海峰１，李纯果２
（１．河北大学教务处，河北保定０７１００２；２．河北大学数学与计算机学院，河北保定０７１００２）
摘
要：Ｈｉｎｔｏｎ等人提出的深度机器学习，掀起了神经网络研究的又一个浪潮．介绍了深度机器学习的
基本概念和基本思想．对于目前比较成熟的深度机器学习结构深度置信网ＤＢＮｓ和约束Ｂｏｌｔｚｍａｎｎ机
（ＲＢＭ）的结构和无监督贪婪学习算法作了比较详细的介绍和比较，并对算法的改进方向提出了有建设性的
意见，对深度机器学习的未来发展方向和目前存在的问题进行了深刻的分析．
关键词：深度机器学习；无监督贪婪学习算法；ＤＢＮｓ；ＲＢＭｓ
中图分类号：ＴＰ３９１
文献标志码：Ａ
文章编号：１０００—１５６５（２０１２）０５—０５３８一０７
Ｎｏｔｅ
ｏｎ
ｄｅｅｐ
ａｒｃｈｉｔｅｃｔｕｒｅ
ａｎｄ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ
ａｌｇｏｒｉｔｈｍｓ
ＬＩ
Ｈａｉｆｅｎ９１，ＬＩ
Ｃｈｕｎｇｕ０２
（１．Ｄｅｐａｒｔｍｅｎｔ
ｏｆ
Ａｃａｄｅｍｉｃ
Ａｆｆａｉｒｓ，Ｈｅｂｅｉ
Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ
０７１００２，Ｃｈｉｎａ；
２。Ｃｏｌｌｅｇｅ
ｏｆ
Ｍａｔｈｅｍａｔｉｃｓ
ａｎｄ
Ｃｏｍｐｕｔｅｒ
Ｓｃｉｅｎｃｅ，Ｈｅｂｅｉ
Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ
０７
１００２，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｄｅｅｐ
ａｒｃｈｉｔｅｃｔｕｒｅｓ
ｐｒｏｐｏｓｅｄ
ｂｙ
Ｈｉｎｔｏｎ
ｅｔ
ａｌ
ｓｔｉｒ
ｕｐ
ａｎｏｔｈｅｒ
ｓｔｕｄｙ
ｗａｖｅ
ｉｎ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ．
Ｔｈｉｓ
ｐａｐｅｒ
ｉｎｔｒｏｄｕｃｅｄ
ｔｈｅ
ｉｄｅａ
ａｎｄ
ｂａｓｉｃ
ｃｏｎｃｅｐｔｓ
ｉｎ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ．ＤＢＮｓ
ａｎｄ
ＲＢＭｓ
ａｒｅ
ｔｈｅ
ａｄｖａｎｃｅｄ
ｓｔｒｕｃｔｕｒｅｓ
ｏｆ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ，ｗｈｏｓｅ
ｓｔｒｕｃｔｕｒｅｓ
ａｎｄ
ｅｆｆｅｃｔｉｖｅ
ｌｅａｒｎｉｎｇ
ａｌｇｏｒｉｔｈｍ
ａｒｅ
ａｌｓｏ
ｉｎｔｒｏｄｕｃｅｄ
ｉｎ
ｄｅｔａｉｌ
ｉｎ
ｔｈｉｓ
ｐａｐｅｒ．Ｉｎ
ａｄｄｉｔｉｏｎ，ｏｐｅｎ
ｑｕｅｓｔｉｏｎｓ
ｉｎ
ｄｅｅｐ
ｌｅａｒｎｉｎｇ
ａｒｅ
ａｌｓｏ
ｂｒｉｅｆｌｙ
ｄｉｓｐｌａｙｅｄ
ＳＯ
ｔｈａｔ
ｒｅｓｅａｒｃｈｅｒｓ
ｗｈｏ
ａｒｅ
ｉｎｔｅｒｅｓｔｅｄ
ｉｎ
ｃａｎ
ｄｅｖｏｔｅ
ｔｈｅｍｓｅｌｖｅｓ
ｉｎｔｏ
ｔｈｏｓｅ
ｑｕｅｓｔｉｏｎｓ
ａｎｄ
ｓｏｌｖｅ
ｔｈｅｍ．
Ｋｅｙ
ｗｏｒｄｓ：ｄｅｅｐ
ｌｅａｒｎｉｎｇ；ｇｒｅｅｄｙ
ｌｅａｒｎｉｎｇ
ａｌｇｏｒｉｔｈｍ；ＤＢＮｓ；ＲＢＭｓ
随着电脑的普及与发展，智能化、机械化成为人们关注的热点．机器学习是仿照人类大脑工作的方式，让
电脑进行计算，学习到类似于大脑的工作方式．为此，研究学者需要构建计算机能够运作的模型，例如，神经
网络就是根据人类的大脑神经的激活或抑制的信号传输构建的模型［１］．神经网络的基本组成单位就是神经
元，神经元的构造方式完全模拟了人类大脑细胞的结构，如图１．但是，显而易见，人工神经元只是简单的结
构的模拟，要想达到与生物神经元有相同的功能，还远远的不够．科研工作者就其训练的方式对其进行训练。
试图让人工神经网络的运算功能尽可能的与人类接近．简单的网络已经可以进行基本的运算，甚至有２个隐
含层的非线性神经网络已经能够对任意的函数进行平滑的逼近．从１９４３年ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ提出的简单
神经元开始，神经网络经历了几度兴衰．神经网络已经深入到各个领域，技术相对比较成熟，然而也很难再有
收稿日期：２０１２—０４—０５
基金项目：保定市科学技术研究与发展指导计划项目（１２ＺＧ００５）；河北省高等学校科学研究计划项目（ＪＹＧＨ２０１１０ｔ１）
第一作者：李海峰（１９８０一），男，河北唐县人，河北大学讲师，主要从事机器学习、教学信息化等研究．
Ｅ－ｍａｉｌ：ｌｉｈｆ＠ｈｂｕ．ｅｄｕ．ｃｒｌ
万方数据
剩余7页未读，继续阅读
评论1
最新资源