Deep Learning(深度学习)学习笔记整理pdf

所需积分/C币:50 2016-10-05 22:53:36 1.95MB PDF

原创作者是Zouxy,整个笔记在他博客上,为了方便大家保存阅读,我将其整理成了pdf文档,希望大家多多交流。 目录 一、概述 2 二、背景 5 三、人脑视觉机理 8 四、关于特征 10 4.1、特征表示的粒度 10 4.2、初级(浅层)特征表示 11 4.3、结构性特征表示 14 4.4、需要有多少个特征? 16 五、Deep Learning的基本思想 17 六、浅层学习(Shallow Learning)和深度学习(Deep Learning) 18 七、Deep learning与Neural Network 20 八、Deep learning训练过程 21 8.1、传统神经网络的训
、概述 ,也就是人工智能,就像长生不老和星际漫 游一样,是人类最美好的梦想之一。虫然计算机技术已经取得了长足 的进步,但是到H前为止,还没有一台电脑能产生“自我”的意识。是的 在人类和大量现成数据的帮助下,电脑可以表现的十分强大,但是离 开了这两者,它甚至都不能分辨一个喵星人和一个汪星人。 图灵(图灵,大家都知道吧。计算机和人工智能的鼻祖,分别对 应于其著名的“图灵机”和“图灵测试”)在年的论文里,提出图灵 试验的设想,即,隔墙对话,你将不知道与你谈话的,是人还是电脑。 这无疑给计算机,尤其是人工智能,预设了一个很高的期望值。但是 半个世纪过去了,人工智能的进展,远远没有达到图灵试验的标准 这不仅让多年翘首以待的人们,心灰意冷,认为人工智能是忽悠,相 关领域是“伪科学”。 但是自年以来,机器学习领域,取得∫突破性的进展。图 灵试验,至少不是那么可望而不可及了。至于技术手段,不仅仅依赖 于云计算对大数据的并行处理能力,而且依赖于算法。这个算法就是, 。借助于 算法,人类终于找到了如何处 理“抽象概念”这个亘古难题的方法。 年月,《纽约时报》披露了 项目,吸引了公 众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授 和在大规模计算机系统方面的世界顶尖专家 共同 主导,用 的并行计算平台训练一种称为“深度神经 网终”( )的机器学习模型(内部共有 亿个节点。这一网络白然是不能跟人类的神经网络相提并论的。要 知道,人脑屮可是有多亿个神经元,互相连接的节点也就是突触 数更是如银河沙数。曾经有人估算过,如果将一个人的大脑中所有神 经细胞的轴突和树突依次连接起来,并拉成一根直线,可从地球连到 月亮,再从月亮返回地球),在语音识别和图像识别等领域获得了巨 大的成功。 项目负责人之一 称:“我们没有像通常做的那样自己框定 边界,而是直接把海量数据投放到算法中,让数据白己说话,系统会 自动从数据屮学习。”另外一名负责人则说:“我们在训练的时候从 来不会告诉机器说:‘这是一只猫。’系统其实是自己发明或者领悟了 猫”的概念。” A 年月,微软在中国大津的一次活动上公廾演示了一个全 自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自 动完成语音识别、英中杋器翻译和中文语音合成,效果非常流畅。据 报道,后面支撑的关键技术也是,或者深度学习( 年月,在百度年会上,创始人兼李彦宏高调宣布要 成立百度研究院,其中第一个成立的就是“深度学习研究所”( lesearch Inside microsoft research Bau多媒体 Advancing the State of the Art in Comput Deep-Neural-Network Speech Recognition Debuts ⊥I稀1432121 为什么拥有大数据的互联网公司争相投入大量瓷源研发深度学 技术。听起来感觉 很牛那样。那什么是 为什么有 ?它是怎么来的?又能干什么呢?目前存在哪 些困难呢?这些问题的简答都需要慢慢来。咱们先来了解下机器学丬 人工智能的核心)的背景。 、背景 机器学习( )是一门专门研究计算机怎样模拟或 实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识 结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学 习能力呢? 年美国的塞缪尔 设计了一个下棋程序,这个 程序具有学习能力,它可以在不断的对弈中改善自己的棋艺。年后, 这个程序战胜了设计者本人。又过了年,这个程序战胜了美国一个 保持年之久的常胜不败的冠军。这个程序向人们展示了机器学习的 能力,提出了许多令人深思的社会问题与哲学问题(呵呵,人工智能 正常的轧道没有很大的发展,这些什么哲学伦理啊倒发展的挺快。什 么未来机器越来越像人,人越来越像机器啊。什么机器会反人类啊, 是开第一枪的啊等等。人类的思维无穷啊) 机器学习虽然发展了几十年,但还是存在很多没有良好解决的问 题 Images video Text language Speech Audio flickr EFs REUTERS Gene Expression Associated Press oogle You Tube Relational Data/ Product Climate Change Social Network Recommendation Geological Data amazon facebook WETA ebY twitter a 例如图像识别、语音识别、自然语言理解、天气预测、基因表达 内容推荐等等。凵前我们通过机器学习去解决这些问题的思路都是这 样的(以视觉感知为例子): LoW-level Inference P Feature Feature predIction sensing processing extract selection recognition 从开始的通过传感器(例如 )来获得数据。然后经过预处 理、特征提取、特征选择,再到推理、预测或者识别。最后一个部分 也就是机器学习的部分,绝大部分的工作是在这方面做的,也存在很 多的 和研究。 而中间的三部分,概括起来就是特征表达。良好的特征表达,对 最终算法的准确性起了非常关键的作用,而且系统主要的计算和测试 作都耗在这一大部分。但,这块实际中一般都是人工完成的。靠人 工提取特征 Feature earning Representation algorithm Input E.g., SIFT, HoG, etc 截止现在,也出现了不少的特征(好的特征应具有不变性 大小、尺度和旋转等)和可区分性):例如的出现,是局部图 像特征描述子研究领域一项里程碑式的工作。由于对尺度、旋转 以及一定视角和光照变化等图像变化都具有不变性,并且其有很 强的可区分性,的确让很多问题的解决变为可能。但它也不是万能的。 dedd,i-03 d=往=L SIFT Spin image Orientation voting RIFT turmaline path d=009,垂= Overlapping Blocks 2d=D.△.帮夏 Input Image Gradient Image 1。d=03,善=a Local normalization HoG RIET 国国团园SB 国国国国三国国国E 国国国圖圖国国 口E国 NEME=SN田E 国国国园三国国题 Ib) Textons GLOH 然而,手工地选取特征是一件非常费力、启发式(需要专业知识) 的方法,能不能选取好很大程度上靠经验和运气,而且它的调节需要 大量的时间。既然手选取特征不太好,那么能不能自动地学习一些 特征呢?答案是能! 就是用来干这个事情的,看它的 个别名 就可以顾名思义了, 的意思就是不要人参与特征的选取过程 那它是怎么学习的呢?怎么知道哪些特征好哪些不好呢?我们说 机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学 科。好,那我们人的视觉系统是怎么工作的呢?为什么在茫茫人海, 芸芸众生,滚滚红尘中我们都可以找到另一个她(因为,你存在我深 深的脑海里,我的梦里我的心里我的歌声里.)。人脑那么, 我们能不能参考人脑,模拟人脑呢?(好像和人脑扯上点关系的特征 啊,算法啊,都不错,但不知道是不是人为强加的,为了使自己的作 品变得神圣和高雅。) 近几十年以来,认知神经科学、生物学等等学科的发展,让我们 对自己这个神秘的而又神奇的大脑不再那么的陌生。也给人工智能的 发展推波助澜。 三、人脑视觉机理 年的诺贝尔医学奖,颁发给了 (出生于加拿大 的美国神经生物学家)和 ,以及 前两 位的主要贡献,是“发现了视觉系统的信息处理”:可视皮层是分级的: Motor command Categorical judgments, 140-190 ms decision making Simple visual forms MC 1204160ms edges, corners PMC 100-130 ms PFC V1 40-60ms 30-50ms LGN 60-80msV2 V4 50-70ms PIT Retina 70-90ms Intermediate visual 20-40ms AIT forms. feature g80100 grou jD s, etc. High level object descriptions faces, abjects 我们看看他们做了什么 和 在 ,研究瞳孔区域与大脑皮层神经元 的对应关系。他们在猫的后脑头骨上,廾了一个毫米的小洞,向洞 里插入电极,测量神经元的活跃程度。 然后,他们在小猎的眼前,展现各种形状、各种亮度的物体。并且 在展现每一件物体时,还改变物体放置的位置和角度。他们期望通过 这个办法,让小猫瞳孔感受不同类型、不同强弱的刺激。 之所以做这个试验,目的是去证明一个猜测。位于后脑皮层的不 同视觉神经元,与瞳孔所受刺激之间,存在某种对应关系。一且瞳孔 受到某一种刺激,后脑皮层的某一部分神经元就会活跃。经历了很多 天反复的枯燥的试验,同时牺牲了若干只可怜的小猎, 和 发现了一种被称为“方向选择性细胞( )”的神绎元细胞。当瞳孔发现了眼前的物体的边缘,而 且这个边缘指向某个方向时,这种神经元细胞就会活跃。 这个发现激发了人们对于神经系统的进一步思考。神经中枢大脑 的工作过程,或许是一个不断迭代、不断抽象的过程。 这里的关键词有两个,一个是拙象,一个是迭代。从原始信号, 做低级抽象,逐渐向高级抽象迭代。人类的逻辑思维,经常使用高度 抽象的概念。 例如,从原始信号摄入开始(瞳孔摄入像素 ),接着做初 步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定, 眼前的物体的形状,是圆形的),然后进一步抽象(大脑进一步判定 该物体是只气球) 西香 object models Area v4·會 Higher level visual abstractions object parts Area v2 te Primitive shape (combination detectors f edges) Area v1 Edge detectors tina pixels edges pixels 这个生理学的发现,促成∫计算机人工智能,在四十年后的突破性 发展 总的来说,人的视觉系统的信息处理是分级的。从低级的区提 取边缘特征,再到区的形状或者目标的部分等,再到更高层,整个 凵标、凵标的行为等。也就是说高层的特征是低层特征的组合,从低 层到高层的特征表示越米越抽象,越米越能表现语义或者意图。而抽 象层面越高,存在的可能猜测就越少,就越利于分类。例如,单词集 合和句子的对应是多对一的,句子和语义的对应又是多对一的,语义 和意图的对应还是多对一的,这是个层级体系 敏感的人注意到关键词了:分层。而 的 是不 是就表示我存在多少层,也就是多深呢?没错。那 是如 何借鉴这个过程的呢?毕竟是归于计算机来处理,面对的一个问题就 是怎么对这个过程建模? 因为我们要学习的是特征的表达,那么关于特征,或者说关于这 个层级特征,我们需要了解地更深入点。所以在说

...展开详情

评论 下载该资源后可以进行评论 8

gphybz 感谢,学习了哈
2019-10-14
回复
cloud9809 不错的资源,谢谢楼主分享
2018-01-18
回复
brown_cat 初学者学习
2017-12-08
回复
java的世界 挺好。支持。。。
2017-11-01
回复
byronone 作者阅读经验总结,可以在阅读dl之前整体大概了解本书介绍的东西,很感谢分享
2017-09-29
回复
BigBigTangmm 确实值得初学者看
2016-12-05
回复
wisdom0427 非常感谢,刚开始接触deeplearning
2016-10-22
回复
拯救钱包 学习了,感谢分享谢谢
2016-10-11
回复
img
  • 技术圈认证

    用户完成年度认证,即可获得

关注 私信 TA的资源

上传资源赚积分,得勋章
    最新推荐