PyTorch: 梯度下降及反向传播的实例详解
118 浏览量
2020-09-18
18:58:56
上传
评论
收藏 214KB PDF 举报
PyTorch: 梯度下降及反向传播的实例详解梯度下降及反向传播的实例详解
今天小编就为大家分享一篇PyTorch: 梯度下降及反向传播的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随
小编过来看看吧
线性模型线性模型
线性模型介绍线性模型介绍
线性模型是很常见的机器学习模型，通常通过线性的公式来拟合训练数据集。训练集包括(x,y)，x为特征,y为目标。如下图：
将真实值和预测值用于构建损失函数，训练的目标是最小化这个函数，从而更新w。当损失函数达到最小时(理想上,实际情况可能会陷入局部最
优)，此时的模型为最优模型，线性模型常见的的损失函数：
线性模型例子线性模型例子
下面通过一个例子可以观察不同权重(w)对模型损失函数的影响。
#author:yuquanle
#data:2018.2.5
#Study of Linear Model
import numpy as np
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
def forward(x):
return x * w
def loss(x, y):
y_pred = forward(x)
return (y_pred - y)*(y_pred - y)
w_list = []
mse_list = []
for w in np.arange(0.0, 4.1, 0.1):
print("w=", w)
l_sum = 0
for x_val, y_val in zip(x_data, y_data):
# error
l = loss(x_val, y_val)
l_sum += l
print("MSE=", l_sum/3)
w_list.append(w)
mse_list.append(l_sum/3)
plt.plot(w_list, mse_list)
plt.ylabel("Loss")
plt.xlabel("w")
plt.show()
输出结果：
w= 0.0
MSE= 18.6666666667
w= 0.1
MSE= 16.8466666667
w= 0.2
MSE= 15.12
w= 0.3
MSE= 13.4866666667
w= 0.4
资源评论
