机器学习-线性回归整理PPT

线性回归是一种基础且重要的统计学与机器学习方法，它用于预测一个连续数值型的输出变量，基于一个或多个输入变量。线性回归的核心思想是寻找一条直线（在一维情况下）或超平面（在多维情况下）来最好地拟合数据，这条直线或超平面被称为回归线。回归线的斜率（或系数）代表了输入变量对输出变量的影响程度。 在"机器学习-线性回归整理PPT"中，提到了几种线性回归的变种和方法： 1. **最小二乘法**是最常见的求解线性回归的方法，它的目标是最小化所有样本点到回归线的欧氏距离之和，即均方误差。通过求导并设置偏导数为0，可以得到线性回归模型的最优解，即最小二乘估计的参数。 2. **局部加权线性回归（Local Weighted Linear Regression, LWLR）**是为了解决简单线性回归在非线性数据上的不足。LWLR给每个样本点分配一个权重，权重通常基于高斯核函数，距离预测点越近的样本权重越大，从而实现局部拟合。权重函数的选择（如高斯核）会影响模型的平滑度和拟合效果。 3. **岭回归**是在最小二乘法基础上引入了正则化项，以解决过拟合问题，提高模型泛化能力。正则化项通常是输入特征的L2范数，通过调整正则化参数λ，可以在模型复杂度和拟合程度之间找到平衡。 4. **Lasso回归**（Least Absolute Shrinkage and Selection Operator）也采用了正则化，但它使用的是输入特征的L1范数，导致一些不重要的特征系数变为0，从而实现特征选择。 5. **多项式回归**是通过将输入变量进行多项式变换，如平方、立方等，来创建更高阶的特征，以适应非线性的数据趋势。例如，对于两个输入变量x和y，可以构建特征x^2, y^2, xy等，从而将线性模型扩展到非线性空间。 线性回归的优点包括模型简单、易于理解和解释，以及计算效率高。然而，线性回归对数据的线性假设可能过于严格，对于非线性关系的数据，可能会出现欠拟合，这时就需要采用如多项式回归、局部加权线性回归等方法来改进。此外，线性回归还容易受到异常值的影响，对多重共线性的处理也不够理想，这些问题可以通过正则化技术来缓解。 在实际应用中，选择合适的线性回归变种和参数调整至关重要，通常需要结合数据特性和问题需求来决定。例如，当特征之间存在强关联性时，岭回归可能是更好的选择；而对于需要特征选择或简化模型的情况，Lasso回归可能更为合适。同时，局部加权线性回归适用于数据分布不均匀或者存在局部趋势的场景。