科学计算方法15(最小二乘法1).ppt

《科学计算方法15(最小二乘法1).ppt》主要介绍了最小二乘法这一重要的数值分析技术。最小二乘法是一种在数据拟合中广泛使用的优化方法，它旨在找到一条直线或曲线，使得这条直线或曲线与一组给定的数据点之间的误差（通常是以平方和的形式）最小。 在讲解最小二乘法之前，文件通过行星的轨道半长轴和周期的关系为例，引出了数据拟合的问题。根据开普勒第三定律，行星绕太阳运行的椭圆轨道半长轴的立方与周期的平方成正比。这个比例常数是所有行星共有的，而最小二乘法就是一种寻找这种规律的方法。 最小二乘法的核心思想是在给定的一组二维数据点(xi, yi)上，寻找一条直线y = ax + b，使得这条直线与所有数据点的距离平方和最小，即残差平方和S最小。这里的S表示每个数据点到直线的垂直距离的平方和，通过最小化S来确定最佳的拟合线。数学表达式为： 2211()()nnSaxbyaxby 为了找到最佳的a和b，我们需要对方程S关于a和b进行偏微分，并令偏导数等于零，得到以下方程组： 11111 ()()0()()0nnnnnaxbyaxbyx axbyx axby 这组方程组称为正常方程。对于超定方程组（方程数量多于未知数），如果秩(rank)满足rank([A, b]) = rank(A)，则方程组有唯一解。否则，方程组可能没有解或者有无限多个解。 当方程组无解时，最小二乘法提供了一种寻找次优解的途径，即寻找使残差平方和最小的解。这可以通过求解线性最小二乘问题来实现： 222221minmin( )nixxiAxbr xr 通过这种方法，即使在方程组不兼容的情况下，也能找到一个合适的拟合模型。在具体应用中，如美国奥勒冈州波特兰市房产售价和居住面积的数据拟合问题，我们可以用最小二乘法找出最佳的线性关系y = cx + d，从而描述售价与居住面积之间的关系。 总结来说，最小二乘法是解决数据拟合问题的一种重要方法，它在科学计算、工程领域以及数据分析中都有广泛的应用。通过对数据点的误差平方和进行最小化，可以找到最能代表数据总体趋势的直线或曲线，进而用于预测和模型建立。在实际操作中，我们通常会遇到超定方程组，这时最小二乘法提供了寻找近似解的有效途径。