浅谈Pytorch中的自动求导函数backward()所需参数的含义
5星 · 超过95%的资源 72 浏览量
2020-09-17
19:33:29
上传
评论 1
收藏 170KB PDF 举报 
浅谈浅谈Pytorch中的自动求导函数中的自动求导函数backward()所需参数的含义所需参数的含义
今天小编就为大家分享一篇浅谈Pytorch中的自动求导函数backward()所需参数的含义，具有很好的参考价值，
希望对大家有所帮助。一起跟随小编过来看看吧
正常来说backward( )函数是要传入参数的，一直没弄明白backward需要传入的参数具体含义，但是没关系，生命在与折腾，
咱们来折腾一下，嘿嘿。
对标量自动求导
首先，如果out.backward()中的out是一个标量的话（相当于一个神经网络有一个样本，这个样本有两个属性，神经网络有一个
输出）那么此时我的backward函数是不需要输入任何参数的。
import torch
from torch.autograd import Variable
a = Variable(torch.Tensor([2,3]),requires_grad=True)
b = a + 3
c = b * 3
out = c.mean()
out.backward()
print('input:')
print(a.data)
print('output:')
print(out.data.item())
print('input gradients are:')
print(a.grad)
运行结果：
不难看出，我们构建了这样的一个函数：
所以其求导也很容易看出：
这是对其进行标量自动求导的结果.
对向量自动求导对向量自动求导
如果out.backward()中的out是一个向量（或者理解成1xN的矩阵）的话，我们对向量进行自动求导，看看会发生什么？
先构建这样的一个模型（相当于一个神经网络有一个样本，这个样本有两个属性，神经网络有两个输出）：
import torch
from torch.autograd import Variable
a = Variable(torch.Tensor([[2.,4.]]),requires_grad=True)
b = torch.zeros(1,2)
b[0,0] = a[0,0] ** 2
b[0,1] = a[0,1] ** 3
out = 2 * b
#其参数要传入和out维度一样的矩阵
out.backward(torch.FloatTensor([[1.,1.]]))
print('input:')
- 1
- 2
前往页