没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
40页
资料为本人期末考试前自行编写,共41页,15363字,主要内容为深度学习的各种基础理论,包含第一章深度前馈神经网络、第二章卷积神经网络、第三章高级CNN和轻量级CNN,第四章间隔损失(softmax),第五章特征白化,第六章正则化,第七章优化,第八章RNN循环神经网络,第九章Attention,第十章Transformer,第十一章AE,第十二章BERT,第十三章VAE,第十四章GAN,第十五章迁移学习。还包含部分元学习、零样本学习的基本概念。注意本资料不含代码!不含代码!
资源推荐
资源详情
资源评论
1
第一章 深度前馈网络
1、激活函数
(1)有什么用?(为什么要添加激励函数)
激活函数的主要作用是提供网络的非线性建模能力,如果没有激活函数,那么神经
网络智能表达线性映射,这样即使有再多的隐藏层,其整个网络和单层神经网络也是等
价的,因此可以说,只有加入了激活函数之后,深度神经网络才具备了分层的非线性的
学习能力。
(2)常用的有哪几种激活函数?
① sigmoid
缺陷:两侧导数逐渐趋向于 0,会导致反向传播中梯度消失,网络参数得不到更新;
② tanh
缺陷:和 sigmoid 一样具有饱和性,会造成梯度消失
③ ReLU
2
特点:当 x>0 时,不存在饱和问题,从而 relu 能保持梯度不衰减,从而缓解梯度消失的
问题
缺陷:随着训练的推进,部分输入会落入硬饱和区(x<0),导致权重无法更新,这种
现象称为“神经元死亡”。
2、深度前馈神经网络推导过程
当 L-1 层时,w 求导
)())((
)(
2
1
*
W
J
'
1
2
1
11
ij
L
i
L
ii
L
i
SL
i
L
ii
L
i
L
i
L
j
L
i
L
ij
L
i
L
i
L
zfzfy
z
zfy
z
J
a
W
z
z
J
���
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
在推到完 L-1 层后再看 L-2 层
b 求导
3
3、梯度消失和爆炸
(1)梯度消失:当|w|<1 时,反向传播经过许多层后梯度会越来越小,若使用
sigmoid,则 f 在很多点出的导数为 0。
(2)梯度爆炸:当|w|>1 时,反向传播经过许多层后梯度会越来越大。
4
第二章 卷积神经网络
1、卷积的运算
CNN 的三个特点:局部感知、权重共享、池化
特别问题:已知图像边长、卷积核大小、步长和 pad,如何求特征图的大小?
公式: Feature Map = (input_size + 2 * padding_size − filter_size)/stride+1
2、卷积神经网络的结构和特点
总体框架:卷积层、池化层、全连接层
特点:
(1) 局部连接和权值共享:卷积神经网络使用局部连接和权值共享,即每个神经元
仅与输入的一小块区域相连,且它们共享相同的权值。这种结构能够减少网络参数数量,
提高网络的稳定性和泛化能力。
(2) 多层次的特征提取:卷积神经网络通过堆叠多个卷积层和池化层,逐层地学习
和提取输入数据的特征表示,从而实现高级别的抽象和分类任务。
(3) 平移不变性和位置信息的保留:由于卷积层和池化层具有平移不变性,因此卷
积神经网络能够处理不同位置的输入数据,同时还能保留输入数据的位置信息,在图像
等领域有很好的应用效果。
(4) 数据增强的可用性:卷积神经网络通过数据增强(例如旋转、翻转、缩放等)
来扩展训练数据集的大小,从而提高网络的泛化性能。
(5) 预训练和微调:卷积神经网络可以用于预训练和微调,预训练可以提高网络的
鲁棒性和泛化性能,微调可以在已有的模型上进行重新训练,从而更好地适应新的数据
集。
3、卷积神经网络与全连接网络的联系
全连接神经网络需要非常多的计算资源才能支撑它来做反向传播和前向传播,所以
全连接神经网络可以存储非常多的参数,如果样本数量没有达到一定数量级时,它可以
轻轻松松把所有样本全部记下来,甚至还会出现过拟合。所以有一个方法就是局部连接
+权值共享,局部连接+权值共享不仅权重参数降下来了,而且学习能力并没有实质的降
低。
5
第三章 高级 CNN 和轻量 CNN
一、LeNet
卷积-池化-卷积-池化-全连接-全连接-全连接
------------------------------------------------------------------------------------------------------------------
二、AlexNet
AlexNet 总共由八层组成,其中前 5 层是卷积层,后 3 层是全连接层。前两个卷积层连
接到重叠的最大池化层以提取最大数量的特征。第三、四、五卷积层直接与全连接层相
连。卷积层和全连接层的所有输出都连接到 ReLu 非线性激活函数。最后的输出层连接
到一个 softmax 激活层,它产生 1000 个类标签的分布。
更大更深的 LeNet
1、主要修改
剩余39页未读,继续阅读
资源评论
南门听露
- 粉丝: 10
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功