python按比例随机切分数据的实现_python按比例随机切分数据资源-CSDN文库

179 浏览量 2020-09-19 02:38:22 上传评论收藏 40KB PDF 举报

资源推荐

资源详情

资源评论

python按比例随机切分数据的实现按比例随机切分数据的实现

主要介绍了python按比例随机切分数据的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具

有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

在机器学习或者深度学习中，我们常常碰到一个问题是数据集的切分。比如在一个比赛中，举办方给我们的只是一个带标注的

训练集和不带标注的测试集。其中训练集是用于训练，而测试集用于已训练模型上跑出一个结果，然后提交，然后举办方验证

结果给出一个分数。但是我们在训练过程中，可能会出现过拟合等问题，会面临着算法和模型的选择，此时，验证集就显得很

重要。通常，如果数据量充足，我们会从训练集中划分出一定比例的数据来作为验证集。

每次划分数据集都手动写一个脚本，重复性太高，因此将此简单的脚本放到自己的博客。代码如下：

import random

def split(full_list,shuffle=False,ratio=0.2):

n_total = len(full_list)

offset = int(n_total * ratio)

if n_total==0 or offset<1:

return [],full_list

if shuffle:

random.shuffle(full_list)

sublist_1 = full_list[:offset]

sublist_2 = full_list[offset:]

return sublist_1,sublist_2

if __name__ == "__main__":

li = range(5)

sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)

print sublist_1,len(sublist_1)

print sublist_2,len(sublist_2)

其中，main为测试代码。假如训练集给出的是一个文件，我们先将文件读到列表中，然后再调用split。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

内容反馈

weixin_38691256

粉丝: 3
资源: 945

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip