pytorch学习2
66 浏览量
2021-01-06
20:55:31
上传
评论
收藏 1.29MB PDF 举报
pytorch学习学习2
1、过拟合和欠拟合、过拟合和欠拟合
训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者
指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平
方损失函数和softmax回归用到的交叉熵损失函数。机器学习模型应关注降低泛化误差。K折交叉验证由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显
得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中，我们把原始训练数据集分割成K个不重合的子数据集，然后我们做K次模型训练和验证。
每一次，我们使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型。在这K次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这K次训练误差和验
证误差分别求平均。过拟合和欠拟合接下来，我们将探究模型训练中经常出现的两类典型问题：
* 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；
* 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这
两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。
给定训练数据集，模型复杂度和误差之间的关系：
训练数据集大小训练数据集大小
影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛
化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模
型。防止过拟合的方法：
（1）增加训练数据
（2）L2正则化
（3）丢弃法（dropout）
torch.cat(input1,,input2,1) #按列合并并
pow（input,exponent）#求张量input的exponent次值
torch.zeros_like(X) #用于生成和输入tensor大小相同的全零tensor的。
model.train() #启用 BatchNormalization 和 Dropout
model.eval() #不启用 BatchNormalization 和 Dropout
pd.get_dummies(all_features, dummy_na=True) #将离散数值改为特征
*2
、梯度消失、梯度爆炸、梯度消失、梯度爆炸
评论0