系统辨识最小二乘及其应用

最小二乘法是一种在数据分析和建模中广泛应用的优化技术，由卡尔·弗里德里希·高斯在1795年提出。该方法旨在找到一个最佳拟合模型，使得观测值与模型预测值之间的残差平方和最小。在系统辨识中，最小二乘法被用来估计系统的参数，以便于理解和模拟系统的动态行为。 最小二乘法分为经典的一次完成算法和递推算法。一次完成算法适用于离线系统辨识，尽管它计算精确，但需要较大的存储空间和计算量。相比之下，递推最小二乘法（RLS）通过每次新数据到来时更新参数估计，降低了计算和存储需求，特别适用于在线辨识和实时系统跟踪。 在加权递推最小二乘法中，考虑到不同观测值的重要性可能不同，通过引入权重因子来调整残差的贡献，使得重要观测的误差影响更大。这种方法在处理噪声或异常值时更具优势。 除了基本的最小二乘法，还有多种扩展方法。增广最小二乘法扩大了参数和数据的范围，包括噪声模型的辨识。广义最小二乘法则通过预处理数据，如滤波，然后再用普通最小二乘法进行辨识，以改善拟合效果。多级最小二乘法通过构建辅助模型、系统模型和噪声模型，分别估计参数，以提高辨识的精度和稳健性。 最小二乘法的主要缺陷在于：一是当模型噪声为有色噪声时，参数估计可能有偏且不一致；二是随着数据量增大，可能会出现“数据饱和”现象，导致辨识性能下降。因此，针对这些问题，研究人员发展了各种改进算法，如递推最小二乘法，以适应有色噪声环境和在线辨识的需求。 最小二乘类辨识算法之间的比较表明，基本最小二乘法适用于高阶系统，但不适合在线辨识；递推最小二乘法则更适合实时辨识，尤其是与自适应算法结合后，能处理时变系统；而广义最小二乘法通过预处理数据，提高了拟合质量。 最小二乘法及其衍生方法在系统辨识领域扮演着核心角色，提供了对复杂系统模型的有效估计。通过理解这些方法的原理、优缺点和应用场景，工程师和研究人员能够选择最适合特定问题的辨识策略，从而提升系统的预测和控制性能。