没有合适的资源?快使用搜索试试~ 我知道了~
Balanced-DataParallel:这里是改进了pytorch的DataParallel,使用了平衡第一个GPU的显存使...
共4个文件
py:3个
md:1个
需积分: 6 5 下载量 74 浏览量
2021-03-21
22:07:17
上传
评论 2
收藏 5KB ZIP 举报
温馨提示
平衡数据并行 这里是改进了pytorch的DataParallel,使用了平衡第一个GPU的显存使用量 本代码来自transformer-XL: : 代码不是本人写的,但是感觉很好用,就分享一下。 怎么使用: 这个BalancedDataParallel类使用起来和DataParallel类似,下面是一个示例代码: my_net = MyNet() my_net = BalancedDataParallel(gpu0_bsz // acc_grad, my_net, dim=0).cuda() 这里包含三个参数,第一个参数是第一个GPU要分配多大的batch_size,但是要注意,如果您使用了渐变累积,那么此处替换的是每次进行运算的实际batch_size大小。举个例子,比如你在3个GPU上面跑代码,但是一个GPU最大只能跑3条数据,但是因为0号GPU还要做一些数据的整合操作,于是0
资源推荐
资源详情
资源评论
收起资源包目录
Balanced-DataParallel-master.zip (4个子文件)
Balanced-DataParallel-master
data_parallel_my_v2.py 4KB
data_parallel.py 4KB
data_parallel_my.py 4KB
README.md 2KB
共 4 条
- 1
资源评论
火君
- 粉丝: 18
- 资源: 4608
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功