pytorchsampler对数据进行采样的实现_weightedrandomsampler资源-CSDN文库

36 浏览量 2020-12-23 10:02:18 上传评论收藏 46KB PDF 举报

资源推荐

资源详情

资源评论

pytorch sampler对数据进行采样的实现对数据进行采样的实现

PyTorch中还单独提供了一个sampler模块，用来对数据进行采样。常用的有随机采样器：RandomSampler，当dataloader的

shuffle参数为True时，系统会自动调用这个采样器，实现打乱数据。默认的是采用SequentialSampler，它会按顺序一个一个

进行采样。这里介绍另外一个很有用的采样方法： WeightedRandomSampler，它会根据每个样本的权重选取数据，在样本比

例不均衡的问题中，可用它来进行重采样。

构建WeightedRandomSampler时需提供两个参数：每个样本的权重weights、共选取的样本总数num_samples，以及一个可

选参数replacement。权重越大的样本被选中的概率越大，待选取的样本数目一般小于全部的样本数目。replacement用于指定

是否可以重复选取某一个样本，默认为True，即允许在一个epoch中重复采样某一个数据。如果设为False，则当某一类的样

本被全部选取完，但其样本数目仍未达到num_samples时，sampler将不会再从该类中选择数据，此时可能导致weights参数

失效。

下面举例说明。下面举例说明。

from dataSet import *

dataset = DogCat('data/dogcat/', transform=transform)

from torch.utils.data import DataLoader

# 狗的图片被取出的概率是猫的概率的两倍

# 两类图片被取出的概率与weights的绝对大小无关，只和比值有关

weights = [2 if label == 1 else 1 for data, label in dataset]

print(weights)

from torch.utils.data.sampler import WeightedRandomSampler

sampler = WeightedRandomSampler(weights,\

num_samples=9,\

replacement=True)

dataloader = DataLoader(dataset,

batch_size=3,

sampler=sampler)

for datas, labels in dataloader:

print(labels.tolist())

输出：

[2, 2, 1, 1, 2, 1, 1, 2] [1, 1, 0] [1, 0, 0] [0, 0, 1]

github 地址：

https://github.com/WebLearning17/CommonTool

以上这篇pytorch sampler对数据进行采样的实现就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多

多支持软件开发网。

您可能感兴趣的文章您可能感兴趣的文章:pytorch 自定义参数不更新方式pytorch 自定义数据集加载方法pytorch 数据处理:定义自己的数据集合实

例Pytorch 数据加载与数据预处理方式pytorch中的自定义数据处理详解

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

内容反馈

weixin_38748239

粉丝: 3
资源: 943

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip