DataWhale 深度学习深度学习 第二次打卡第二次打卡
第二次打卡学习笔记第二次打卡学习笔记
1.过拟合欠拟合及其解决方案
2.梯度消失与梯度爆炸
3.循环神经网络进阶
4.机器翻译及相关技术
5.注意力机制与Seq2seq模型
6.Transfomer
7.卷积神经网络基础
8.LeNet
9.卷积神经网络进阶
过拟合欠拟合及其解决方案过拟合欠拟合及其解决方案
在解释过拟合和欠拟合现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在
任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函
数和softmax回归用到的交叉熵损失函数。
机器学习模型应关注降低泛化误差。
模型训练中经常出现的两类典型问题：
1.一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；
2.另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这
两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。
给定训练数据集，模型复杂度和误差之间的关系：
影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛
化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模
型。
权重衰减
权重衰减等价于 L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。
L2范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性
回归中的线性回归损失函数为例
带有L2范数惩罚项的新损失函数为
在小批量随机梯度下降中，权重参数的更新为
丢弃法
多层感知机中神经网络图描述了一个单隐藏层的多层感知机。其中输入个数为4，隐藏单元个数为5，
剩余14页未读，继续阅读
评论0
最新资源