没有合适的资源?快使用搜索试试~ 我知道了~
一个好的数据集能训练出好的模型,并且能准确评估模型的效果。在机器学习中,一般将样本分成独立的三部分训练集(train set),验证集(validation set)和测试集(test set)。 其中,训练集用于建立模型。
资源推荐
资源详情
资源评论
数据集构造
一个好的数据集能训练出好的模型,并且能准确评估模型的效果。在机器学习中,
一般将样本分成独立的三部分训练集(train set),验证集(validation set)和测试集
(test set)。 其中,训练集用于建立模型。
一、训练集
用于训练模型的数据集。模型根据这份数据集去学习数据分布,调整自身权重获
得更好的分类结果。
二、验证集
用于在训练过程中检验模型的状态,收敛情况。验证集通常用于调整超参数,根
据几组模型验证集上的表现决定哪组超参数拥有最好的性能。
同时验证集在训练过程中还可以用来监控模型是否发生过拟合,一般来说验证集
表现稳定后,若继续训练,训练集表现还会继续上升,但是验证集会出现不升反
降的情况,这样一般就发生了过拟合。所以验证集也用来判断何时停止训练。
三、测试集
测试集用来评价模型泛化能力,即之前模型使用验证集确定了超参数,使用训练
集调整了参数,最后使用一个从没有见过的数据集来判断这个模型效果。
四、交叉验证
交叉验证法的作用就是尝试利用不同的训练集/测试集划分来对模型做多组不同
的训练/测试,来应对单词测试结果过于片面以及训练数据不足的问题。
一轮交叉验证包括将数据样本划分为互补的子集,对一个子集(称为训练集)进行
训练,并对另一个子集(称为验证集或测试集)验证分析。为了增加稳定性,使用
数据不同的划分区域执行多轮交叉验证,并且获取多次结果的平均值作为最终结
果。
资源评论
hanzhuhuaa
- 粉丝: 454
- 资源: 100
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功