没有合适的资源?快使用搜索试试~ 我知道了~
深度学习报告 (2).pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 43 浏览量
2023-04-10
19:18:42
上传
评论
收藏 4.87MB PDF 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/87673189/0001-e8a6f2f0fe75492b06ed4c99c362e963_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
43页
。
资源推荐
资源详情
资源评论
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/release/download_crawler_static/87673189/bg1.jpg)
深度学习报告
在写本报告前,阅读了《The History Began from AlexNet: A Comprehensive Survey
on Deep Learning Approaches》,并在网上查看了一些相关的内容,对其整合和理解。但是
其中的很多细节还没有足够的时间去探索,有的概念也不是很确定自己说的对不对,还望指
正。
这篇报告的主要目标是介绍深度学习的总体思路及其应用相关领域,包括有监督(如
DNN、CNN 和 RNN)、无监督(如 AE、GAN)(有时 GAN 也用于半监督学习任务)和深度强化
学习(DRL)的思路。在某些情况下,深度强化学习被认为是半监督/无监督的方法。本论文
的其余部分的组织方式如下:第一节主要介绍深度学习分类和特征。第二节讨论 DNN,第三
节讨论 CNN;第四节介绍了不同的先进技术,以有效地训练深度学习模型;第五节讨论 RNN;
第六节讨论 AE; 第七节讨 GAN;第八节中介绍强化学习(RL);第九节解释迁移学习; 第
十节介绍了深度学习的高效应用方法和硬件; 第十一节讨论了深度学习框架和标准开发工
具包(SDK)。
下面是 AI,ML,NN,DL 的关系图:
一.深度学习分类和特征
A.深度学习类型
深度学习方法可以分为以下几个类:监督学习,半监督学习,无监督学习,此外,还有
另一类学习方法称为强化学习(RL)或深度强化学习(DRL),它们经常在半监督或有时在非
监督学习方法的范围内讨论。
(1)监督学习
将大量的数据输入机器,这些数据被事先贴上标签,例如,要训练一个神经网络来识别
苹果或者橙子的图片,就需要给这些图片贴上标签,机器通过识别所有被标记为苹果或橙子
的图片来理解数据,这些图片有共同点,因此机器可以利用这些已识别的图片来更准确的预
测新图片中的内容到底是苹果还是橙子。他们看到的标记数据越多,看到的数据集越大,预
测准确性就越高。所以监督学习是一种使用标注数据的学习技术。在其案例中,环境包含一
组对应的输入输出 。比如,输入是 x_t,智能体预测后的值与标签对比来获得损失值。接
着智能体不断迭代调整网络参数,从而更好地近似期望输出。成功训练之后,智能体可对环
境问题做出正确回答。
监督学习主要有以下几种:深度神经网络 (DNN)、卷积神经网络 (CNN)、循环神经网
络(RNN)
![](https://csdnimg.cn/release/download_crawler_static/87673189/bg2.jpg)
(2)无监督学习
一种不使用标注数据的学习技术,即不知道输入数据对应的输出结果是什么。在这种
情况下,无监督学习只能默默的读取数据,自己寻找数据的模型和规律,而不需要监护人的
指导。无监督学习方法通常有聚类、降维和生成技术等。有些深度学习技术擅长聚类和非线
性降维,如自编码器(AE)和 GAN 等。此外,RNN(比如 LSTM)和 RL 也被用作半监督学习
[243]。到目前为止,在任何方面无监督学习都达不到监督学习的准确性和有效性。
(3)半监督学习
一种使用部分标注数据的学习技术(通常被称之为强化学习),半监督学习训练中使用
的数据,只有一小部分是标记过的,而大部分是没有标记的。因此和监督学习相比,半监督
学习的成本较低,但是又能达到较高的准确度。在一些案例中,深度强化学习(DRL)和生
成对抗网络(GAN)常被用作半监督学习技术。此外,包含 LSTM 的 RNN 和 GRU 也可划分
为半监督学习。
(4)强化学习(RL)
强化学习(RL)不同于监督学习和非监督学习。在强化学习(RL)中没有原始已知数据
可以学习。强化学习面对的是一个不断变化的状态空间要解决的是一个决策链问题。其目的
是找到在当前环境(状态空间)下最佳决策是什么。这里的挑战是,当下的决策好坏当下无
法验证和评估,要根据多次决策以后才能知道。就像下棋,当前的决策(棋子落点)要在五
步十步棋之后才能判断是好是坏。所以强化学习中并没有大量的原始已知输入数据,机器需
要在变化的环境中通过多次的试错学习,再根据某种规则找到产生最佳结果的最佳路径,从
而做出最佳决策。比较常见的应用有下棋(包括下围棋和象棋)、机器人、自动驾驶等,这些
人工智能技术中都用到了强化学习。
B.特征学习
通过机器学习解决问题的思路:传感器获得数据——》预处理——》特征提取——》特
征选择——》推理,预测和识别(机器学习的部分),中间三部分也叫特征表达,而特征是
机器学习系统的原材料,对最终模型影响很重要,数据要能够被很好的表达成特征,但是这
一部分一般是靠人工提取特征,而手工提取需要专业知识,费时,靠经验和运气。传统的机
器学习特征提取算法包括:尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、GIST、RANSAC、
直方图方向梯度(HOG)、局部二元模式(LBP)、经验模式分解(EMD)语音分析,支持向量
机(SVM)、随机森林(RF)、主成分分析(PCA)、核主成分分析(KPCA)、线性递减分析(LDA)、
Fisher 递减分析(FDA)等。所以就想到能不能自动的学习一些特征,深度学习就是来干这
个事的,不需要人参与特征选择的过程,而让机器自动的学习良好的特征。
C.应用深度学习的时机和领域
人工智能在以下领域十分有用,深度学习在其中扮演重要角色:
1. 缺乏人类专家(火星导航);
2. 人们尚无法解释的专业知识(演讲、认知、视觉和语言理解);
3. 问题的解决方案随时间不断变化(追踪、天气预报、偏好、股票、价格预测);
4. 解决方案需要适应特定情况(生物统计学、个性化);
5. 人类的推理能力有限,而问题的规模却很大(计算网页排名、将广告匹配到
Facebook、情感分析)。
目前几乎所有领域都在应用深度学习。因此,这种方法通常被称为通用学习方法。下图
显示了一些示例应用程序
![](https://csdnimg.cn/release/download_crawler_static/87673189/bg3.jpg)
D.深度学习的前沿发展
深度学习在计算机视觉和语音识别领域有一些突出的成就,如下所述:
1)ImageNet 数据集上的图像分类
Imagenet 数据集是目前深度学习图像领域应用得非常多的一个领域关于图像分类、
定位、检测等研究工作大多基于此数据集展开。它有 1400 多万幅图片,涵盖 2 万多个类别。
Imagenet 数据集文档详细,有专门的团队维护,使用非常方便,在计算机视觉领域研究论
文中应用非常广,几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。下图
显示了 2012 年深度学习技术的发展历程。时至今日,我们开发的模型 ResNet-152 在这个
![](https://csdnimg.cn/release/download_crawler_static/87673189/bg4.jpg)
数据集上只有 3.57%的误差,低于人类约 5% 的误差。
2)自动语音识别
深度学习通过 TIMIT 数据集(通用数据集通常用于评估)完成的小规模识别任务是深
度学习在语音识别领域的初次成功体现。TIMIT 连续声音语音语料库包含 630 位来自美国
的八种主要英语口音使用者,每位发言人读取 10 个句子。下图总结了包括早期结果在内的
错误率,并以过去 20 年的电话错误率(PER)来衡量。条形图清楚地表明,与 TIMIT 数据
集上以前的机器学习方法相比,最近开发的深度学习方法(图顶部)表现更好。
E.深度学习面临的挑战
1.使用深度学习进行大数据的分析(针对此问题,解决方案正在高性能的计算机系统上
进行部署)
2.深度学习方法要有可扩展性(要能在多个服务器上运行,节约时间)
3.在在数据不可用于学习系统的情况下(尤其是对于计算机视觉任务,例如反向图形),
生成数据的能力非常重要。(对生成模型进行研究)
4.特殊用途设备的低能耗技术,如移动端智能,FPGA 等。(正在对网络架构和硬件方面
高效率深度学习方法进行研究)
5.多任务和迁移学习(泛化)或多模块学习。这意味着要从不同的领域或不同的模型一
起学习。(谷歌提交的论文《One Model To Learn Them All》[29] 介绍了一种新方法,其
![](https://csdnimg.cn/release/download_crawler_static/87673189/bg5.jpg)
可以从不同的应用领域学习,包括 ImageNet、多种翻译任务、图像标题(MS-COCO 数据集)、
语音识别语料库和英语解析任务)
6.在学习中处理因果关系。
二 深度神经网络(DNN)
A.DNN 介绍
神经网络需要通过学习过程来从其环境中获取知识,这个过程模拟了生物大脑的工作方
式。基本的计算元素(神经元)被称为接受外部源输入的节点(或单元),具有一些内部参
数(包括在训练期间学习到的权重和偏差)并产生输出。这个单位被称为感知器。
1)单层感知器(SLP)
感知器的最简单形式是在输入和输出之间有一个单层的权重连接,模型图如下:
其中 x1,x2...xm 是输入信号,wk1,wk2...wkm 是权重,这个参数表示了每个特征xj 的
重要性,bk 是偏差,神经元公式可以用数学表达式如下:
(.)
其中 是非线性的,叫做激活函数。激活函数的作用是将非线性引入神经元的输出,
为网络提供非线性的建模能力。如果没有激活函数,那么该网络仅能够表达线性射。此时即
使有再多的隐藏层,其整个网络跟单层神经网络也是等价的。因此可以认为,只有加入了激
活函数,深度神经网络才具备了分层的非线性映射。激活函数都接受一个数字,并进行特定,
固定的计算。在实践中,可能会碰到几种激活函数:
Sigmoid(S 型激活函数):输入一个实值,输出一个 0 至 1 间的值 σ(x) = 1 / (1 +
exp(−x))
tanh(双曲正切函数):输入一个实值,输出一个 [-1,1] 间的值 tanh(x) = 2σ(2x) −
1
ReLU:ReLU 代表修正线性单元。输出一个实值,并设定 0 的阈值(函数会将负值变为
零)f(x) = max(0, x)。
剩余42页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/5727ece9c0874d7a8520d85db0052815_weixin_67271870.jpg!1)
若♡
- 粉丝: 6206
- 资源: 1万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)