没有合适的资源?快使用搜索试试~ 我知道了~
绪论知识期到了20世纪70年代,研究者意识到知识对于人工智能系统的重要性。特别是对于一些复杂的任务,需要专家来构建知识库。在这一时期,出现了各种各样的专家系统(
资源详情
资源评论
资源推荐
第 1 章 绪论
一个人在不接触对方的情况下,通过一种特殊的方式,和
对方进行一系列的问答。如果在相当长时间内,他无法根据这
些问题判断对方是人还是计算机,那么就可以认为这个计算机
是智能的。
— 阿兰·图灵 [1950],《Computing Machinery and Intelligence 》
深度学习(Deep Learning )是近年来发展十分迅速的研究领域,并且在人
工智能的很多子领域都取得了巨大的成功。从根源来讲,深度学习是机器学习
的一个分支,是指一类问题以及解决这类问题的方法。
首先,深度学习问题是一个机器学习问题,指从有限样例中,通过算法总
结出一般性的规律,并可以应用到新的未知数据上。比如,我们可以从一些历
史病例的集合,总结出症状和疾病之间的规律。这样当有新的病人时,我们可
以利用总结出来的规律,来判断这个病人得了什么疾病。
其次,和传统的机器学习不同,深度学习采用的模型一般比较复杂,指样本
的原始输入到输出目标之间的数据流经过多个线性或非线性的组件(components)。
因为每个组件都会对信息进行加工,并进而影响后续的组件。当我们最后得到
输出结果时,我们并不清楚其中每个组件的贡献是多少。这个问题叫做贡献度
分配问题(Credit Assignment Problem,CAP)[Minsky, 1963]。在深度学习中,
贡献度分配问题也经常翻译
为信用分配问题或功劳分配
问题。
贡献度分配问题是一个很关键的问题,这关系到如何学习每个组件中的参数。
目前可以比较好解决贡献度分配问题的模型是人工神经网络(Artificial Neu-
ral Network,ANN)。人工神经网络,也简称神经网络,是一种受人脑神经系
统的工作方式启发而构造的一种数学模型。和目前计算机的结构不同,人脑神
经系统是一个由生物神经元组成的高度复杂网络,是一个并行的非线性信息处
理系统。人脑神经系统可以将声音、视觉等信号经过多层的编码,从最原始的
低层特征不断加工、抽象,最终得到原始信号的语义表示。和人脑神经网络类
似,人工神经网络是由人工神经元以及神经元之间的连接构成,其中有两类特
4 2019 年 4 月 4 日 第 1 章 绪论
殊的神经元:一类是用来接收外部的信息,另一类是输出信息。这样,神经网络
可以看作是信息从输入到输出的信息处理系统。如果我们把神经网络看作是由
一组参数控制的复杂函数,并用来处理一些模式识别任务(比如语音识别、人
脸识别等)时,神经网络的参数可以通过机器学习的方式来从数据中学习。由
于神经网络模型一般比较复杂,从输入到输出的信息传递路径一般比较长,所
以复杂神经网络的学习可以看成是一种深度的机器学习,即深度学习。
神经网络和深度学习并不等价。深度学习可以采用神经网络模型,也可以
采用其它模型(比如深度信念网络是一种概率图模型)。但是由于神经网络模型
可以比较容易地解决贡献度分配问题,因此神经网络模型成为深度学习中主要
采用的模型。虽然深度学习一开始用来解决机器学习中的表示学习问题,但是
表示学习参见第1.4节。
由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比
如推理、决策等。
在本书中,我们主要介绍有关神经网络和深度学习的基本概念、相关模型、
学习方法以及在计算机视觉、自然语言处理等领域的应用。在本章中,我们先
介绍下人工智能的基础知识,然后再介绍神经网络和深度学习的基本概念。
1.1 人工智能
智能(intelligence)是现代生活中很常见的一个词,比如智能手机、智能
家居、智能驾驶等。在不同使用场合中,智能的含义也不太一样。比如“智能
手机”中的“智能”一般是指由计算机控制并具有某种智能行为的意思。这里
的“计算机控制”+“智能行为”隐含了对人工智能的简单定义。
“智能”可以理解为“智力”
和“能力”。前者是智能的基
础,后者是指获取和运用知
识求解的能力。
简单地讲,人工智能(artificial intelligence,AI)就是让机器具有人类的
智能,这也是人们长期追求的目标。这里关于什么是“智能”并没有一个很明
确的定义,但一般认为智能(或特指人类智能)是知识和智力的总和,都和大
脑的思维活动有关。人类大脑是经过了上亿年的进化才形成了如此复杂的结构,
但至今仍然没有完全了解。虽然随着神经科学、认知心理学等学科的发展,人
们对大脑的结构有了一定程度的了解,但对大脑的智能究竟怎么产生的还知道
的很少。我们并不理解大脑的运作原理,以及如何产生意识、情感、记忆等功
能。因此,通过“复制”一个人脑来实现人工智能在目前阶段是不切实际的。
1950 年,阿兰·图灵(Alan Turing)发表了一篇有着重要影响力的论文
《Computing Machinery and Intelligence》,讨论了创造一种“智能机器”的可
能性。由于“智能”一词比较难以定义,他提出了著名的图灵测试:“一个人在
不接触对方的情况下,通过一种特殊的方式,和对方进行一系列的问答。如果
在相当长时间内,他无法根据这些问题判断对方是人还是计算机,那么就可以
认为这个计算机是智能的”。图灵测试是促使人工智能从哲学探讨到科学研究
的一个重要因素,引导了人工智能的很多研究方向。因为要使得计算机能通过
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/
1.1 人工智能 2019 年 4 月 4 日 5
图灵测试,计算机必须具备理解语言、学习、记忆、推理、决策等能力。这样,
人工智能就延伸出了很多不同的子学科,比如机器感知(计算机视觉、语音信
息处理),学习(模式识别、机器学习、强化学习),语言(自然语言处理)、记
忆(知识表示)、决策(规划、数据挖掘)等。所有这些研究领域都可以看成是
人工智能的研究范畴。
人工智能是计算机科学的一个分支,主要研究、开发用于模拟、延伸和扩
展人类智能的理论、方法、技术及应用系统等。和很多其它学科不同,人工智能
这个学科的诞生有着明确的标志性事件,就是 1956年的达特茅斯(Dartmouth)
会议。在这次会议上,“人工智能”被提出并作为本研究领域的名称。同时,人
工智能研究的使命也得以确定。John McCarthy 提出了人工智能的定义:人工
智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。
John McCarthy(1927-
2011),人工智能学科奠基人
之一,1971 年图灵奖得主。
目前,人工智能的主要领域大体上可以分为以下几个方面:
感知 即模拟人的感知能力,对外部刺激信息(视觉和语音等)进行感知和加工。
主要研究领域包括语音信息处理和计算机视觉等。
学习 即模拟人的学习能力,主要研究如何从样例或与环境交互中进行学习。主
要研究领域包括监督学习、无监督学习和强化学习等。
认知 即模拟人的认知能力,主要研究领域包括知识表示、自然语言理解、推理、
规划、决策等。
1.1.1 人工智能的发展历史
人工智能从诞生至今,经历了一次又一次的繁荣与低谷,其发展历程大体
上可以分为“推理期”,“知识期”和“学习期”[周志华, 2016]。
人工智能低谷,也叫人工智
能冬天(AI Winter),指人
工智能史上资金及学术界研
究兴趣都大幅减少的时期。
人工智能领域经历过好几个
技术成熟度曲线,紧接着是
失望及批评,以及研究资金
断绝,紧接着在几十年后重
燃的研究兴趣。1974-80 年及
1987-93 年 是两个主要的 低
谷时期,其他还有几个较小
的低谷。
1.1.1.1 推理期
1956
年达特茅斯会议之后,研究者对人工智能的热情高涨,之后的十几年
是人工智能的黄金时期。大部分早期研究者都通过人类的经验,基于逻辑或者
事实归纳出来一些规则,然后通过编写程序来让计算机完成一个任务。这个时
期中,研究者开发了一系列的智能系统,比如几何定理证明器、语言翻译器等。
这些初步的研究成果也使得研究者们对开发出具有人类智能的机器过于乐观,
低估了实现人工智能的难度。有些研究者们甚至认为:“二十年内,机器将能完
成人能做到的一切工作”,“在三到八年的时间里可以研发出一台具有人类平均
智能的机器”。但随着研究的深入,研究者意识到这些推理规则过于简单,对项
目难度评估不足,原来的乐观预期受到严重打击。人工智能的研究开始陷入低
谷,很多人工智能项目的研究经费也被消减。
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/
6 2019 年 4 月 4 日 第 1 章 绪论
1.1.1.2 知识期
到了 20 世纪 70年代,研究者意识到知识对于人工智能系统的重要性。特别
是对于一些复杂的任务,需要专家来构建知识库。在这一时期,出现了各种各
样的专家系统(Expert System),并在特定的专业领域取得了很多成果。专家
系统可以简单理解为“知识库 + 推理机”,是一类具有专门知识和经验的计算
机智能程序系统。专家系统一般采用知识表示和知识推理等技术来完成通常由
领域专家才能解决的复杂问题,因此专家系统也被称为基于知识的系统。一个
专家系统必须具备三要素:(1)领域专家级知识;(2)模拟专家思维;(3)达
到专家级的水平。在这一时期,Prolog(Programming in Logic)语言是主要的
开发工具,用来建造专家系统、自然语言理解、智能知识库等。
Prolog 是一种基于逻辑学理
论而 创 建 的逻 辑 编程 语 言,
最初被运用于自然语言、逻
辑推理等研究领域。
1.1.1.3 学习期
对于人类的很多智能行为(比如语言理解、图像理解等),我们很难知道其
中的原理,也无法描述出这些智能行为背后的“知识”。因此,我们也很难通过
知识和推理的方式来实现这些行为的智能系统。为了解决这类问题,研究者开
始将研究重点转向让计算机从数据中自己学习。事实上,“学习”本身也是一种
智能行为。从人工智能的萌芽时期开始,就有一些研究者尝试让机器来自动学
习。机器学习的主要目的是设计和分析一些学习算法,让计算机从数据中自动
分析获得规律,并利用规律对未知数据进行预测的算法,从而可以帮助人们解
决一些特定任务,提高效率。机器学习的研究内容也十分广泛,涉及了概率论、
统计学、逼近论、凸分析、计算复杂性理论等多门学科。对于人工智能来说,机
器学习从一开始就是一个重要的研究方向。但直到 1980 年后,机器学习因其在
很多领域的出色表现,才逐渐成为热门学科。
图1.1给出了人工智能发展史上的重要事件。在发展了 60 多年后,人工智能
虽然可以在某些方面超越人类,但想让机器真正通过图灵测试,具备真正意义
上的人类智能,这个目标看上去仍然遥遥无期。
1940 1945
1950 1955 1960 1965
1970 1975
1980 1985 1990 1995 2000 2005
McCulloch 和 Pitts
提出人工神经元网络
图灵机
达特茅斯会议
Rosenblatt
提出“感知器”
推理期 知识期
学习期
知识系统兴起 专家系统兴起
神经网络重新流行
统计机器学习兴起
(支持向量机等)
深度学习的兴起
图 1.1 人工智能发展史
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/
剩余19页未读,继续阅读
咖啡碎冰冰
- 粉丝: 14
- 资源: 292
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0