SVM与LS-SVM的区别
4星 · 超过85%的资源 需积分: 43 89 浏览量
2013-05-15
13:19:49
上传
评论 1
收藏 27KB DOC 举报 
SVM 与 LS-SVM 的区别
SVM 标准算法在应用中存在着超平面参数选择，以及 QP 问题求解中矩阵规模受训练样本数目的影响很大，导致
求解规模过大的问题。
Suykens 等人提出的最小二乘支持向量机（Least Squares Support Vector Machines,LS-SVM）从机器学习损失
函数着手，在其优化问题的目标函数中使用二范数，并利用等式约束条件代替 SVM 标准算法中的不等式约束条件，使
得 LS-SVM 方法的优化问题的求解变为通过 Kuhn-Tucker 条件得到的一组线性方程组的求解。
SVM 与 LS-SVM 的比较
优化问题的构造
从前述对 SVM 与 LS-SVM 方法在样本分类与回归估计的分析中可以看出，两种方法的优化问题的构造上，目标函
数分别采用了误差因子的一次项与二次项，同时约束条件分别采用了不等式约束与等式约束形式。这两方面的差别也
导致了两种方法在求解过程中的差异。
优化问题的求解
SVM 求解 QP 问题中，变量维数等于训练样本的个数，从而使其中矩阵元素的个数是训练样本个数的平方。当数
据规模达到一定程度时，SVM 算法的求解规模就会使一些传统办法难以适应。针对 SVM 的求解困难的问题，也产生
了一些相应的解决办法，如选块算法和 SMO 算法等。这些算法在一定程度上简化了 SVM 优化问题的求解，促进了
SVM 的应用发展。而 LS-SVM 方法通过求解线性方程组实现最终的决策函数，在一定程度上降低了求解难度，提高了
求解速度，使之更能适合于求解大规模问题，更能适应于一般的实际应用。虽然并不一定能获得全局最优解，但是
仍可以获得较高精度的识别率。
解的稀疏性
SVM 标准算法中，需要求解复杂的 QP 问题，可以获得理论上的全局最优解，并且，大部分的 Lagrange 乘子均为
零，使得最终的决策函数只依赖于少部分样本数据，即支持向量。使 SVM 方法中解显示出稀疏性的特点。在 LS-SVM
方法中，由于其优化问题的目标函数使用了误差平方项以及等式约束条件，将 SVM 的 QP 问题转化为一组线性方程组
求解，使得 Lagrange 乘子与误差项成比例关系，直接的后果就使得最终决策函数与所有样本都相关，也就失去了
SVM 方法中解的稀疏性的特点。但是 LS-SVM 方法通过对最终求解得到的 Lagrange 乘子进行排序，并使用“修剪”算法，
仍然可以在一定程度上实现解的稀疏性的
资源评论
dainzishixidianli2014-07-19说出了一些区别还是
