机器学习综述
摘要:为了对高层次结构的抽象的表示,需要有能够对深层结构学习的模型。深
层结构是由非线性的多层次组成,如神经网络有许多隐藏的层。深层结构的参数
优化是一项困难的任务,例如最近提出的深信念网络( DBN)学习算法很好解
决了该问题并取得了一定的成功。深度学习是机器学习中一个非常接近 AI 的领
域,其动机在于建立、模拟人脑进行分析学习的神经网络。
关键词:神经网络,无监督,深度学习,AI
1 引言
机器学习的核心是学习。机器学习的研究主旨是使用计算机模拟人类的学习
活动,它是研究计算机识别现有知识、 获取新知识、 不断改善性能和实现自身
完善的方法。机器学习研究的就是如何使机器通过识别和利用现有知识来获取新
知识和新技能。它是人工智能的一个重要的研究领域。这里的学习意味着从数据
中学习, 它包括有监督学习( Supervised Learning )、无监督学习 ( Unsupervised
Learning) 和半监督学习( Semi- Supervised Learning )三种类别。
目前在机器学习研究领域影响较大的是 H. Simon 的观点:学习是系统中的
任何改进,这种改进使得系统在重复同样的工作或进行类似的工作时,能完成得更
好。学习的基本模型就是基于这一观点建立起来的。
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进
行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多
隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加
抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
深度学习的概念由 Hinton 等人于 2006 年提出。基于深信度网(DBN)提出非
监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多
层自动编码器深层结构。此外 Lecun 等人提出的卷积神经网络是第一个真正多层
结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。
深度学习中的主要困难,特别是在模式分类运用中,在数据的维数中学习的
复杂性呈指数的线性增长。主流的方法是克服“维数灾难”,通过使用预处理数
据的方式,这样能够降维以至于更够有效的处理。降维指的是特征提取,结果可
评论2
最新资源