03线性回归.pptx

线性回归是一种广泛应用的统计学方法，主要用于建立输入变量（自变量）与输出变量（因变量）之间的线性关系模型。在这个PPT中，我们主要探讨了线性回归的基本概念、误差分析、模型构建以及多元线性回归。 线性回归的核心思想是通过找到一条直线（在二维空间中）或超平面（在更高维度中），来尽可能精确地拟合给定的数据点。在案例中，数据点代表不同人的工资额度，我们试图学习到一个线性模型，以预测新样本的工资值。线性模型通常表示为 y = wx + b，其中y是因变量，x是自变量，w是斜率，b是截距。 线性回归中的误差是真实值y和预测值wx+b之间的差异，用ε表示。误差假设是独立的、同分布的，并且服从均值为0、方差为σ²的高斯分布。这意味着每个人的工资误差可能有所不同，但整体上误差呈现出正态分布，即大部分误差较小，只有少数极端情况会有较大误差。 为了找到最佳的线性模型，我们需要最小化误差的平方和，这被称为最小二乘法。线性回归的误差似然函数可以表示为概率形式，通过最大化似然函数，我们可以找到使误差平方和最小的w和b值。对数似然函数的使用简化了优化过程，通过对数变换，我们可以将优化问题转化为求解梯度为0的条件。 线性回归的求解过程涉及到计算梯度，即对w和b求偏导。通过计算梯度，我们可以得到关于w和b的两个方程，然后解这个方程组得到最优的w和b值。在给出的例子中，我们得到了模型y=7.67x-10017.36，这条直线就是最佳拟合线。 当贷款额度由多个属性决定时，我们需要构建多元线性回归模型。此时，模型变为y = wx + b，其中x是一个包含所有自变量的列向量，包括一个常数项x0（通常设为1），而w则是一个包含所有权重的列向量。模型可以表示为y = Xw，其中X是一个包含所有样本和自变量（包括常数项）的矩阵，w是X的转置乘以X的逆再乘以y，从而得到最优的权重向量。 线性回归的目标函数是残差平方和的负对数似然，通过求偏导数等于0，我们可以找到使目标函数达到最小的w和b值。在矩阵形式下，这个过程变得更加简洁，利用矩阵运算的性质，可以有效地求解模型参数。 总结来说，线性回归是一种简单而强大的预测工具，广泛应用于各种领域。它基于最小化误差平方和的原理来寻找最佳的线性关系，不仅可以处理单个自变量的情况，也能扩展到多个自变量的多元线性回归，通过矩阵运算实现高效的模型训练。对于实际应用，理解并掌握线性回归的基本概念和求解方法对于数据分析和预测任务至关重要。