机器学习__SVM_非线性.pptx

支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习模型，广泛应用于分类和回归分析。在处理非线性可分问题时，SVM展现出显著的优势。当我们面临一个不能通过线性边界来有效分割的数据集时，SVM通过引入非线性映射和核函数来解决这一挑战。 线性支持向量机在处理线性可分问题时非常有效，但在面对非线性数据时，它们往往无法找到合适的决策边界。为了解决这个问题，SVM引入了一个概念，即特征空间映射。这个概念指出，即使原始数据在有限维度的特征空间中是非线性可分的，也总能找到一个更高维度的空间，使得数据在这个新空间内变得线性可分。这种映射通常由一个非线性函数完成，目的是将数据从低维空间转换到高维空间，使得原本复杂的分类问题在新空间中变得简单。 然而，直接在高维空间进行操作计算成本非常高。为了解决这个问题，支持向量机利用了对偶问题的概念。在对偶问题中，我们不再直接处理原始的线性方程，而是转向求解一组相关的拉格朗日乘子，这使得我们可以仅通过内积的形式来表示决策边界，而无需显式地计算高维特征空间中的映射。 核函数在这里起到了关键作用。核函数可以看作是一种隐式的特征映射，它允许我们在低维空间中进行计算，而效果等同于在高维空间进行了操作。选择合适的核函数对SVM的性能至关重要。常见的核函数有线性核、多项式核、高斯核（Radial Basis Function，RBF）等。线性核适用于数据近似线性可分的情况，而RBF核则常用于非线性问题，因为它能够创建平滑的决策边界。对于未知的复杂数据分布，可以选择RBF作为初始尝试。例如，在Python的scikit-learn库中，我们可以用`svm.SVC(kernel='rbf')`来创建一个使用RBF核的支持向量机模型。 除了RBF，还有其他组合核函数的方法，如两个核函数的乘积结果仍然是核函数。参数C在模型中用于控制模型的复杂度，较大的C值会使模型更倾向于包含更多的支持向量，可能会导致过拟合，而较小的C值则可能导致欠拟合。 总结来说，支持向量机通过非线性映射和核函数解决了非线性可分问题，使其在各种复杂场景下都能保持优秀的分类能力。选择适当的核函数和调整模型参数（如C）是优化SVM性能的关键步骤。在实际应用中，应根据数据的特性以及预期的分类效果来灵活选用不同的核函数和参数设置。