解决解决Pytorch自定义层出现多自定义层出现多Variable共享内存错误问题共享内存错误问题
错误信息错误信息:
RuntimeError: in-place operations can be only used on variables that don’t share storage with any other
variables, but detected that there are 4 objects sharing it
自动求导是很方便, 但是想想, 如果两个Variable共享内存, 再对这个共享的内存的数据进行修改, 就会引起错误!
一般是由于 inplace操作或是indexing或是转置. 这些都是共享内存的.
@staticmethod
def backward(ctx, grad_output):
ind_lst = ctx.ind_lst
flag = ctx.flag
c = grad_output.size(1)
grad_former_all = grad_output[:, 0:c//3, :, :] grad_latter_all = grad_output[:, c//3: c*2//3, :, :] grad_swapped_all =
grad_output[:, c*2//3:c, :, :]
spatial_size = ctx.h * ctx.w
W_mat_all = Variable(ctx.Tensor(ctx.bz, spatial_size, spatial_size).zero_())
for idx in range(ctx.bz):
W_mat = W_mat_all.select(0,idx)
for cnt in range(spatial_size):
indS = ind_lst[idx][cnt]
if flag[cnt] == 1:
# 这里W_mat是W_mat_all通过select出来的, 他们共享内存.
W_mat[cnt, indS] = 1
W_mat_t = W_mat.t()
grad_swapped_weighted = torch.mm(W_mat_t, grad_swapped_all[idx].view(c//3, -1).t())
grad_swapped_weighted = grad_swapped_weighted.t().contiguous().view(1, c//3, ctx.h, ctx.w)
grad_latter_all[idx] = torch.add(grad_latter_all[idx], grad_swapped_weighted.mul(ctx.triple_w))
由于 这里W_mat是W_mat_all通过select出来的, 他们共享内存. 所以当对这个共享的内存进行修改W_mat[cnt, indS] = 1, 就会
出错. 此时我们可以通过clone()将W_mat和W_mat_all独立出来. 这样的话, 梯度也会通过 clone()操作将W_mat的梯度正确反传
到W_mat_all中.
@staticmethod
def backward(ctx, grad_output):
ind_lst = ctx.ind_lst
flag = ctx.flag
c = grad_output.size(1)
grad_former_all = grad_output[:, 0:c//3, :, :] grad_latter_all = grad_output[:, c//3: c*2//3, :, :] grad_swapped_all =
grad_output[:, c*2//3:c, :, :]
spatial_size = ctx.h * ctx.w
W_mat_all = Variable(ctx.Tensor(ctx.bz, spatial_size, spatial_size).zero_())
for idx in range(ctx.bz):
# 这里使用clone了
W_mat = W_mat_all.select(0,idx).clone()
for cnt in range(spatial_size):
indS = ind_lst[idx][cnt]
if flag[cnt] == 1:
W_mat[cnt, indS] = 1
W_mat_t = W_mat.t()
grad_swapped_weighted = torch.mm(W_mat_t, grad_swapped_all[idx].view(c//3, -1).t())
grad_swapped_weighted = grad_swapped_weighted.t().contiguous().view(1, c//3, ctx.h, ctx.w)
# 这句话删了不会出错, 加上就吹出错
grad_latter_all[idx] = torch.add(grad_latter_all[idx], grad_swapped_weighted.mul(ctx.triple_w))
评论0