1
人工智能和机器学习之回归算法：岭回归：使用 Python 实
现岭回归
1 岭回归简介
1.1 1 岭回归的基本概念
岭回归（Ridge Regression）是一种线性回归技术，它通过在损失函数中加
入正则化项来解决多重共线性问题和防止模型过拟合。在标准的线性回归模型
中，我们试图找到一组权重，使得预测值与实际值之间的平方误差最小。然而，
当特征之间存在高度相关性时，权重的估计可能变得不稳定，导致模型在新数
据上的表现不佳。岭回归通过在权重的平方和上添加一个惩罚项，来限制权重
的大小，从而提高模型的稳定性和预测性能。
1.2 2 岭回归与普通最小二乘法的区别
普通最小二乘法（Ordinary Least Squares, OLS）的目标是最小化预测值与实
际值之间的平方误差之和。然而，当特征之间存在多重共线性，即特征高度相
关时，OLS 估计的权重可能变得非常大，甚至符号相反，这会导致模型的预测
不稳定。岭回归通过在损失函数中加入一个正则化项，即权重的平方和乘以一
个正则化参数λ，来解决这个问题。正则化参数λ控制着对权重大小的惩罚程
度，λ越大，对权重的惩罚越重，从而使得权重更小，模型更稳定。
1.2.1 示例代码
假设我们有以下数据集，其中 X 是特征矩阵，y 是目标向量：
import numpy as np
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
#
生成数据
np.random.seed(0)
X = np.random.rand(100, 10)
y = np.random.rand(100)
#
划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
#
岭回归模型
ridge = Ridge(alpha=1.0) # alpha
是正则化参数
λ
剩余13页未读，继续阅读
资源评论
