Python最小二乘法矩阵

最小二乘法是一种在数据拟合中广泛应用的数学方法，特别是在线性回归分析中。它通过寻找一组系数，使得预测值与实际观测值之间的残差平方和最小，从而找到最佳的拟合直线或超平面。在Python中，我们可以利用numpy等科学计算库实现最小二乘法的计算。 在给定的代码示例中，作者展示了如何手动构建并求解最小二乘法问题的矩阵形式。我们来看最小二乘法的基本公式： \[ A^T A \beta = A^T y \] 其中： - \( A \) 是设计矩阵（左侧矩阵），包含了自变量的幂次组合。 - \( \beta \) 是回归系数向量。 - \( y \) 是因变量向量。 - \( A^T \) 是矩阵A的转置。 在给定的代码中，`calc_left_k_mat`函数用于生成设计矩阵的左侧部分，它根据参数`k`构建了从0到`k`的对角线矩阵，其中每个元素是对应的幂次。例如，当`k=3`时，左侧矩阵会包含\( x^0, x^1, x^2, x^3 \)的组合。 `calc_right_k_mat`函数生成了右侧矩阵，它包含了对应于每个自变量幂次的常数项，即\( 1 \)和自变量的幂次。这在上述公式中对应于\( A^T \)。 `get_left_mat_with_x`函数将左侧矩阵与输入的自变量`x`结合，计算出每个自变量幂次的和，形成完整的左侧矩阵。 `get_right_mat_with`函数计算右侧矩阵，它涉及到将每个自变量的幂次与因变量的对应幂次相乘，并对所有数据点求和，得到每个元素的总和。 `fuse_mat`函数将处理后的左右两侧矩阵合并为一个大的矩阵，这个矩阵可以直接用numpy的`linalg.lstsq`函数求解最小二乘问题。 在主函数中，定义了`k`, `x`, 和 `y` 的值，然后按照上述步骤生成并计算了左右两侧矩阵，并进行了融合。输出了完整矩阵。 注意，这个实现方式虽然展示了最小二乘法矩阵的构造过程，但在实际应用中，通常我们会使用numpy的内置函数如`numpy.linalg.lstsq`来更高效地解决最小二乘问题，因为它已经优化了计算效率并考虑了可能的数值稳定性问题。不过，这个代码片段对于理解最小二乘法的矩阵表示是有帮助的。