【免费】自然语言处理第六次更新.docx资源-CSDN文库

自然语言处理

需积分: 0 114 浏览量 2020-11-17 11:35:19 上传评论收藏 4.53MB DOCX 举报

资源详情

资源评论

第 3 章机器学习

本章开始介绍机器学习相关的内容。近年来，机器学习因其强大的学习能力再次活跃

在各个领域中，是人工智能的基础和核心。本章首先介绍机器学习的概念和四大基本任务

紧接着从数据集的角度，讨论机器学习的类型；然后基于前面有关机器学习的知识，列举

一些经典的算法；最后对机器学习的应用现状进行介绍。

3.1 什么是机器学习

二因素论认为人的发展是由先天的遗传和后天所处的环境共同决定的。后天学习是我

们须经历的必不可少的环节之一，通过学习，我们可以掌握各种技能，从而融于社会。学

习是人的本能，它可以是自觉的，也可以是无意识的。正如我们并不是先天地会唱歌、跳

舞和绘画等等，长时间地对这些方面知识和练习的累积使得我们熟练掌握了这些内容。与

人的学习过程相似，机器学习通过抽象已知数据集中样本内或样本间的关系，然后将学习

到的关系用于相近的数据集，从而解决实际问题。既然机器学习有如此强大的学习能力，

那么，它是否可以超越人类呢？这一问题将在第 12 章进行讨论。

3.1.1 机器学习的定义

机器学习是一门涵盖了多方面知识的学科，主要使用计算机作为工具来模拟人的学习

思维及方式以达到像人类一样认知和改造世界的目的。人类对世界的认知和改造涉及多方

面的知识和原理，再加上近年来与计算机相关领域的不断发展，以至于机器学习也涉及到

诸多知识领域，包括但不限于心理学、生物学、数学、计算机科学等学科。作为人工智能

领域的重要分支，机器学习在促进人工智能发展的过程中发挥着不可替代的作用。人工智

能要想具备智能的能力并且接近人类，必须拥有学习能力，以便于它在大数据的支撑下搜

索到自己想要的数据，并对这些数据作特定的加工和处理。因此，机器学习是人工智能的

核心，机器学习是研究人工智能的一门学科。

图 3-1 关系图

与人工智能、机器学习一样，深度学习（将在 3.3.3 节作详细介绍）也是人们常提及的

一个名词。那么他们之间有着什么样的关系呢？首先，人工智能是计算机科学的一个分支，

在这三者中范围最大，它是一门研究模拟人智能的相关理论技术的科学体系。其次，机器

学习是基于已有的数据，从这些数据中抽象出一个具有一定泛化能力的模型，然后用模型

解决问题，是一种实现人工智能的方法。因此，它包含于人工智能。最后，而深度学习是

机器学习研究中的一个新兴领域，建立模拟人脑的神经网络然后来处理各类数据，如图像

和音频等数据。它是对机器学习进行拓展的一种技术。人工智能、机器学习和深度学习之

间的关系可用图 3-1 表示。尽管图 3-1 用包含或被包含关系描述了人工智能、机器学习和深

度学习之间的关系，但是它们三者之间并不是独立存在的，也存在着互补的关系，不能完

全割裂它们之间的联系。

1.机器学习的发展历程

机器学习的发展史是跌宕起伏的，它的发展和人工智能的发展密不可分。从图灵机的

提出到机器学习被应用于人工智能的各个领域，机器学习已经变得十分重要。通常来说，

机器学习的发展历程可以分为奠基阶段、停滞阶段、恢复阶段和成型以及发展阶段四个历

史时期。

(1) 奠基阶段

基于大胆的幻想，一直以来人们并不满足于计算机的计算能力，而是希望计算机可以

模拟人类的自主思考能力。1949 年， Donald Hebb 在神经心理学的基础上提出了 Hebb 学

习规则。Hebb 学习规则是无监督的学习规则（更多与无监督学习相关的知识将在 3.2.2 节

介绍），主要作用是提取输入的信息的的特性，按照这些信息的相似程度来进行分类。除

了这些工作，研究者们还专注于研究神经元模型相关的内容，基于神经元的工作也取得了

非常大的进步。

1950 年，图灵发表了一篇题目为“Can Machines Think?”的论文，在这篇文章中他引入

了机器思维的概念，也就是常常被提到的智能，提出了可操作的认定计算机智能的方式，

即图灵测试。图灵测试的具体内容就是让计算机和人在不被询问者看到的情况下回答问题

允许计算机撒谎。询问的问题包括天气情况，甚至复杂的数学计算题。这些问题即包含了

感性认知，又包含了理性认知的内容。如果一台机器可以做到在与人类对话时成功欺骗人

类并且不被发现，那么这台机器就具有智能。因为图灵测试相当难通过，所以甚至有人举

办了有奖金的比赛来征集可以通过图灵测试的计算机。值得一提的是在 2014 年真的有一台

名为 Eugene Goostman 的机器通过了图灵测试。

同一时间，贝叶斯分类器的发展也开始起步，它利用了贝叶斯公式进行分类相关的计

算，得出各个对象属于每一个类别的概率，然后选择对象概率数值最大的类别作为这个对

象的分类。贝叶斯分类器错误率小，直到现在还在不断发展和被使用。

（a）唐纳德·赫布（b）图灵

图 3-2 代表人物

1958 年，Richard Rosenblatt 设计出了第一个计算机神经网络，即感知机。感知机是一

种线性模型，可以看作全连接神经网络的前身。

1967 年，最近邻算法被 Thomas 提出。最近邻算法适用于分类问题，而且易于实现。

最近邻算法可以说是目前最简单也最常用的分类算法之一，通过判断某一点所处样本空间

中最近的 k 个点的所属类别，从而实现这一点的分类。该方法在类别的决策上，依据最近

邻的一些样本的类别。

（2）停滞阶段

大约在上世纪六十年代中到七十年代末，，包括机器学习在内的人工智能的发展陷入

了停滞阶段。究其原因是研究人员对人工智能的发展寄希望于大量的数据支持和大型数据

库上。他们定的目标在当时科技水平不足的情况下显得有一些脱离实际，当时的科技发展

水平无法支持他们建立大型的数据库或者说处理过多的数据。

但这个时期研究人员也并非毫无成果的，其中 Ward 在 1963 年的时候提出了一种名为

层次聚类的聚类算法，其实还有不少算法也是这个时期产生的，有一部分现在也在被广泛

使用。同时，人们也开始尝试使用符号来代替数值研究学习问题并且得到了广泛的应用。

（3）恢复阶段

上世纪七十年代末，人们意识到单一的学习方式终归是有局限的，他们开始尝试拓展

机器学习，寻求多种学习方式，机器学习再次迎来了发展前景。

1977 年，用于聚类的最大期望值算法诞生。它不仅能解决聚类问题，还可以解决一些

特定的估计问题。

1981 年，反向传播算法还在萌芽阶段。在神经网络反向传播算法中，多层感知器的概

念被提出了。接着科学家们在他的算法的基础上，开始尝试把反向传播算法和多层感知器

结合在一起，然后不断提出新的神经网络模型和新的算法。

反向传播算法的正式诞生是在 1986 年。它是一种基于感知机模型，建立在梯度下降基

础上的学习算法，实际上不少算法都受到感知机的启发。反向传播算法适用于多层神经网

络，现在大部分的神经网络都是多层的，一般认为层数越多，模型输出结果也会变更准确。

在这个阶段，机器学习系统开始发展，通过知识库来实现强化学习。

（4）成型以及发展阶段

二十世纪九十年代初开始，机器学习已经发展地相当成熟了。从模型层数的角度来说，

机器学习主要分为浅层学习和深度学习两种类型。随着机器学习领域的泰斗 Hinton 提出了

神经网络深度学习算法，神经网络深度学习算法作用在神经网络上效果更加出类拔萃，所

以现在深度学习的应用比浅层学习更广泛。

1995 年，支持向量机被用作手写字符识别。其实支持向量机在 1964 年就已经被提出

了。在多名学者的推动下支持向量机快速发展，展现了它无与伦比的泛化性，当时的神经

网络再也无法和它竞争。

2000 年，长短期记忆网络首次被提出，它是一种特殊的循环神经网络，在长序列输入

中它的表现的比一般循环神经网络更好。它能记住被需要长时间记忆的信息，忘记不重要

的信息。由于它并不只是像循环神经网络那样单独叠加信息，一定情况下可以提升效率。

二十一世纪初，神经网络之父 Geoffrey Hinton 将反向传播算法应用到深度学习的领域，

成功打开了神经网络现如今被广泛研究的局面。Hinton 以及其他研究人员，还在尝试不断

推进神经网络的发展。其中比较著名的二人就是和 Hinton 并称深度学习三巨头的 Yoshua

Bengio 和 Yann LeCun。在 2018 年，他们三人共同获得了图灵奖，图灵奖被广泛认为计算

机领域的诺贝尔奖。

目前，机器学习领域最热门的两个方向是神经网络和支持向量机。神经网络和支持向

量机都竭力证明自身的优越性。支持向量机的计算复杂性较低，应用起来比较方便，所以

在实际应用领域它还是占有一定优势。作为后起之秀的神经网络，似乎可以承担比支持向

量机更为艰巨的任务，现在也在被人们不断地挖掘新的潜在特性。最典型的神经网络模型

由输入层、隐藏层、输出层构成。一般来说神经网络的架构可以分成前馈神经网络、循环

网络、对称连接网络。

2.机器学习的一般步骤

机器学习的一般步骤由收集数据、数据的分析和预处理、选择并训练模型、测试算法

或模型和评估算法或模型组成。

首先，收集相关的数据是在明确待解决的问题后最主要的工作。为了方便快捷，可以

使用现成开放的数据集，这些数据集经过大家的验证，往往会更有说服力。当然，使用自

己整理的数据集也是值得推荐的。对于特定的问题，公开数据集可以作为一种评价目标，

为了获得更好的性能，可以收集自己的数据集，使得两种数据集构成混合数据集。

然后，要对数据进行预处理。收集到的数据并不是完美的，它可能会明显地包含不符

合待解决问题的特征或区域以及人工可消除的偏差。数据的质量直接影响着模型或算法的

训练和性能，因此提升数据的质量就显得尤为重要。一般来说，可以通过以下的几种方法

来实现数据的预处理。（1）数据清理，它的主要思想是通过处理缺失值、处理离群点、平

滑噪声等方法来使数据更加的一致。缺失值可以通过直接删除或者用特定的算法来填充。

离群点则是通过检测哪些数据分布异常后再具体解决。（2）数据集成，它的主要思想是将

多个数据源中的数据进行整合，以一致的数据存储方式进行存储，比如数据仓库。数据集

成的时候要注意去除掉冗余的信息，还要解决来自不同数据源的数据彼此冲突的问题。除

此之外，数据规约和数据变换也能使数据变得更加规范。

接下来，要为待处理的数据选择合适的模型并优化模型的参数。从任务类型的角度，

模型的选择可以根据具体的任务种类选择分类、回归和聚类等模型，从数据集是否有标签

的角度，可以选择有监督学习、无监督学习或者半监督学习。通常，经过对适用模型的筛

选后仍有多种符合条件的模型，这时可以结合具体的问题特性在尝试多种模型后以得出最

优的结果。

最后，模型确定之后要对模型进行评估。以分类任务为例，评估分类模型优劣最常见

的的标准有准确率、精确率、召回率和 F1 值。准确率指在所有的判断识别中有多少是正确

的。精确率指的是在所有检索到的样本中实际检索到的相关样本的占比。召回率指的是正

确被检索到的样本占实际应该检索到样本的比例。F1 值则全面综合了精确率和召回率，给

了这两个数值特定的权值，平衡了一个模型对召回率和精确率的追求，然后得出一个合适

的结果。下面详细介绍准确率、精确率、召回率、F1 值。

表 3-1 混淆矩阵

真实情况

正类负类

预测情况

正类

TP FP

负类

FN TN

对于二分类模型，将预测结果和真实情况一一配对，会出现表 3-1 的四种情况。简单

来讲就是，令数据集样本总数为

TP+TN +FN +FN

，TP 是模型将正类输入判断为正类的

数量，FP 是模型将负类输入判断为正类的数量，FN 是模型将正类输入判断为负类的数量，

TN 是模型将负类输入判断为负类的数量。

（1）准确率

准确率是所有预测正确的样本占总样本的比例，即

Accuracy=

TP+TN

TP+TN +FN+FN

（3-1）

准确率是比较简单的评价方式，所以它也存在一些缺陷，比如如果样本中某一个类别

占比过大则会导致准确率高但是模型泛化能力差的情况。

（2）精确率

精确率是所有正类预测样本呢占正类预测样本的比例，简单来讲就是机器所认为的正

类样本有多少是正确的。其基本表达式如下

Precision=

TP+FP

（3-2）

（3）召回率

召回率表示实际预测为正的样本占所有正类样本的比例。基本表达如下

Recall=

TP+FN

（3-3）

召回率也是存在缺陷的，如果将所有样本预测为真，它就会失去其的作用。

（4）F1 值

F1 值又叫 H-mean 值，它的计算方式如下

Recall

Precision

（3-4）

则

Recall × Precision ×2

Recall+Precision

2 TP

2TP+FP+FN

（3-5）

F1 值的计算过程中对精确率和召回率进行了加权计算，综合两个指标进行模型评估，

使得它对模型优劣的判断更加全面。F1 的值越大，模型性能越好。

显而易见，人工智能和机器学习现如今已经进入了人们生活的方方面面，它无时无刻

不在影响我们的生产生活，譬如基于机器学习的语言翻译。机器学习还在不断进步，研究

者们正在从多方面推进机器学习的发展。

3.1.2 机器学习的任务

根据解决任务方式的不同，机器学习任务分为分类、回归、聚类和降维四大任务。表

3-2 是对机器学习四种任务内容的概括，四类任务的详解介绍和部分算法的思想及其实现在

后文有所介绍。机器学习的范围是非常广阔的，并不是所有机器学习算法都可以完美地归

类于这四种，也有的算法不仅仅可以解决上述提及的四种任务中的一种。

表 3-2 机器学习任务

任务分类回归聚类降维

含义

将输入划分到一

个预先定义的类

别中

在数据集上拟合

出一条曲线

将数据集上的个

体划分到不同的

类中

用维数低的子空

间来表示原来维

度高的特征空间

功能能高效地输出离

散的结果

能高效地输出非

离散的结果

仅将数据归于不

同的类，但不关

心类别的实际含

能有效降低数据

处理过程中的复

杂度

剩余63页未读，继续阅读

评论收藏

内容反馈

自然语言处理第六次更新.docx

评论0

最新资源

自然语言处理第六次更新.docx

评论0

最新资源

相关推荐

计算机应用基础随堂练习.docx

计算机应用基础随堂练习+答案.docx

计算机应用基础·随堂练习.docx

人工智能行业概况.docx

Python编程基础-教学大纲.docx

人工智能产业链及商业模式全解释.docx

人工智能简介.docx

智能问答系统调研.docx

人工智能发展综述.docx

人工智能的研究和应用领域.docx

人工智能产业分类目录.docx

空间数据库管理系统概论.docx

计算机应用基础第二章-计算机基础知识.docx

(完整版)Python基础学习笔记.docx

任务9-1-初识人工智能.docx

人工智能专题讲座.docx

人工智能的研究内容.docx

对人工智能的看法作文.docx

人工智能诞生与发展.docx

stable-diffusion部署需要的包

大规模语言模型：从理论到实践

人工智能大模型介绍.pptx

21个免费无限制免登录chatgpt资源， OpenAI GPT-4\3.5 模型的智能对话链接

ChatGPT智能AI机器人微信小程序源码-带部署教程

diabetes糖尿病数据集

LM Studio windows版本安装

transformer代码

线性代数-同济大学第七版

Notepad++ 8.5.6最新版 64位安装包