多元线性回归及其算法实现（梯度下降法）_多元线性回归算法资源-CSDN文库

多元线性回归

159 浏览量 2021-01-07 02:49:13 上传评论 3 收藏 53KB PDF 举报

资源推荐

资源详情

资源评论

多元线性回归及其算法实现（梯度下降法）多元线性回归及其算法实现（梯度下降法）

上一篇文章讲述了梯度下降法的数学思想，趁热打铁，这篇博客笔者将使用梯度下降法完成多元线性回归梯度下降法完成多元线性回归，话不多说，直接开始。

我们假设我们的目标函数是长这样的：

import numpy as np

import pandas as pd

# 读入数据

data = pd.read_csv('D:/Advertising.csv')

# 学习率alpha

lr = 0.00001

# 参数

theta0 = 0

theta1 = 0

theta2 = 0

theta3 = 0

# 最大迭代次数

epochs = 1000

#假设目标函数

def h_predict(theta0, theta1, theta2, theta3, x_data, i):

h_pre=(theta0 + theta1 * x_data.iloc[i,0] + theta2*x_data.iloc[i,1] + theta3*x_data.iloc[i,2])

return h_pre

# 最小二乘法

def compute_error(theta0, theta1, theta2, theta3, x_data, y_data):

totalError = 0

for i in range(0, len(x_data)):

totalError += (h_predict(theta0, theta1, theta2, theta3, x_data, i)-y_data[i]) ** 2

return totalError / float(len(x_data))

def gradient_descent_runner(x_data, y_data, theta0, theta1, theta2, theta3, lr, epochs):

# 计算总数据量

m = float(len(x_data))

# 循环epochs次

for i in range(epochs):

theta0_grad = 0

theta1_grad = 0

theta2_grad = 0

theta3_grad = 0

# 求偏导

for j in range(0, len(x_data)):

theta0_grad += (1/m) * (h_predict(theta0, theta1, theta2, theta3, x_data, j) - y_data.iloc[j])

theta1_grad += (1/m) * x_data.iloc[j,0] * (h_predict(theta0, theta1, theta2, theta3, x_data, j) - y_data.iloc[j])

theta2_grad += (1/m) * x_data.iloc[j,1] * (h_predict(theta0, theta1, theta2, theta3, x_data, j) - y_data.iloc[j])

theta3_grad += (1/m) * x_data.iloc[j,2] * (h_predict(theta0, theta1, theta2, theta3, x_data, j) - y_data.iloc[j])

# 更新b和k

theta0 = theta0 - (lr*theta0_grad)

theta1 = theta1 - (lr*theta1_grad)

theta2 = theta2 - (lr*theta2_grad)

theta3 = theta3 - (lr*theta3_grad)

#print(compute_error(theta0, theta1, theta2, theta3, x_data, y_data))

return theta0, theta1, theta2 ,theta3

#计算初始时代价函数值

print("Starting theta0 = {0}, theta1 = {1}, theta2 = {2}, theta3 = {3}, error = {4}".

format(theta0, theta1, theta2, theta3, compute_error(theta0, theta1, theta2, theta3, x_data, y_data)))

print("Running...")

theta0, theta1, theta2, theta3 = gradient_descent_runner(x_data, y_data, theta0, theta1, theta2, theta3, lr, epochs)

#经过epochs次迭代后代价函数值

print("After {0} iterations theta0 = {1}, theta1 = {2}, theta2 = {3}, theta3 = {4}, error = {5}".

format(epochs, theta0, theta1, theta2, theta3, compute_error(theta0, theta1, theta2, theta3, x_data, y_data)))

运行结果如图：

可以看到error值从最开始的223变成了4，最后我将第一行数据带入验证：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论收藏

内容反馈

weixin_38609089

粉丝: 5
资源: 925

多元线性回归及其算法实现（梯度下降法）

多元线性回归梯度下降算法的MATLAB实现

Python-多元线性回归方程比较最小二乘法与梯度下降法

梯度下降法,梯度下降法原理和步骤,matlab

梯度下降实现多元线性回归

GradDescent：多元线性回归的梯度下降算法的MATLAB实现

多元线性回归c++算法

线性回归（最小二乘法和梯度下降法实现）

求解逻辑回归—-梯度下降

梯度下降法实现多项式回归job.rar

基于matlab的梯度下降法实现线性回归

线性回归与梯度下降法

线性回归与梯度下降

利用梯度下降实现的多元线性回归.html

c#实现梯度下降算法

梯度下降法实现线性回归

python+numpy+matplotalib实现梯度下降法

Python实现多元线性回归方程梯度下降法与求函数极值

C#多元线性回归算法

Python编程实现线性回归和批量梯度下降法代码实例

MATLAB_多元线性回归模型_梯度下降与正规方程对比.zip

多元线性回归MATLAB程序

基于梯度下降法的线性回归模型预测房价

多项式回归

多元线性回归java实现

梯度下降法实现多元线性回归Delivery.rar

梯度下降算法线性回归数据

梯度下降和梯度上升算法的实现

线性回归及梯度下降的推导

python梯度下降算法的实现

最新资源