斯坦福ML公开课笔记71

支持向量机（SVM）是一种监督学习模型，用于分类和回归分析。在斯坦福的机器学习公开课中，SVM的讲解主要围绕最优间隔分类器、原始与对偶问题以及核技巧展开。 最优间隔分类器是SVM的核心概念，它旨在找到一个能够最大化数据点与决策边界之间几何间隔的分类器。在二维空间中，这意味着找到一个能够尽可能远离最近数据点的直线。这个分类器的数学表示是通过最大化γ（几何间隔）来实现的，同时确保所有训练样本点都在正确的一侧，并且与决策边界保持一定的距离。在优化问题#1中，我们看到目标是找到权重向量w和偏置b，以最大化γ，同时满足约束条件，即每个样本点的几何间隔大于等于γ。为了解决非凸约束问题，我们通过规范化w的范数使其为1，转换为问题#2，然后再进一步简化为问题#3，这是一个凸优化问题，可以使用拉格朗日乘数法求解。 原始问题与对偶问题在优化理论中至关重要。原始问题通常是指原始的优化形式，而对偶问题则是通过引入拉格朗日乘数和拉格朗日函数转化而来的。对偶问题在某些情况下（如满足KKT条件）能提供与原始问题相同的最优解，而且在处理复杂问题时，如SVM中的核技巧，对偶问题往往更易于求解。 核技巧是SVM中的一大创新，它允许我们将数据映射到高维空间，使得原本线性不可分的数据在新的空间中变得可分。在最优间隔分类器的对偶问题中，内积的计算变得复杂，引入核函数后，我们可以直接在原始特征空间之外操作，避免了显式地进行高维映射。核函数的作用是计算两个样本在高维空间中的内积，而无需知道具体的映射过程。常见的核函数有线性核、多项式核和高斯核（RBF）。 序列最小优化算法（SMO）是用来求解SVM对偶问题的有效方法。SMO通过迭代优化一对拉格朗日乘数，逐步更新模型参数，直至达到全局最优解。这种方法大大降低了计算复杂性，使得SVM在大规模数据集上也能高效运行。 SVM通过最优间隔分类器确定决策边界，借助原始与对偶问题的转化解决优化难题，利用核技巧处理非线性问题，并通过SMO算法进行高效求解。这些知识点构成了SVM的基础，理解和掌握它们对于运用SVM解决实际问题至关重要。