林轩田《机器学习技法》课程笔记4 -- Soft-Margin Support Vector Machine1

《机器学习技法》课程笔记4主要讲解了Soft-Margin Support Vector Machine（软边距支持向量机）。在引入核函数的Kernel SVM之后，虽然能够处理复杂的分类问题，但可能存在过拟合的风险，尤其是坚持所有样本都要正确分类的硬边距（Hard-Margin）SVM。过拟合的原因可能是模型过于复杂，或是对样本分类的严格要求。 为了避免过拟合，Soft-Margin SVM应运而生，其核心思想是允许一定数量的样本分类错误，将这些样本视为噪声（noise），并尽可能减少错误样本的数量。这种方法借鉴了pocket算法的思想，即寻找能使得分类错误最少的决策边界，而不是追求将所有样本分开。 Soft-Margin SVM的目标函数和约束条件做了相应调整。对于分类正确的样本，依然要求它们位于支持向量机的边界之外，但对于噪声点，不再有严格限制。目标函数增加了对错误样本数目的考虑，引入了一个参数C，用于平衡模型的边距宽度（large margin）和对噪声的容忍度（noise tolerance）。参数C越大，模型倾向于减少错误分类，选择更窄的边距；反之，C越小，模型更倾向于选择更宽的边距，容忍更多的错误。 优化目标函数时，引入了一个新的变量ξi，表示每个样本点犯错误的程度。ξi等于零表示分类正确，数值越大表示错误越大。这样，优化问题转变为一个二次规划（Quadratic Programming, QP）问题，满足求解的数学形式。原始问题的参数个数增加到N（样本数量），限制条件也相应增加到2N。 接下来，为了简化计算并应用核函数，我们需要将Soft-Margin SVM转化为对偶形式。通过构建拉格朗日函数，结合KKT条件，将原始问题转化为对偶问题。对偶问题的形式使得我们可以利用核技巧，将高维空间的计算转化为低维空间的内积运算，大大简化了计算过程。 Soft-Margin SVM通过放宽硬边距SVM的分类要求，允许一定比例的样本可以错误分类，从而降低了过拟合的风险。它通过参数C控制模型复杂度和分类性能的平衡，并通过ξi量化每个样本的分类误差。这种灵活性使得SVM在实际问题中更具鲁棒性和泛化能力。通过对偶形式的推导，Soft-Margin SVM可以有效利用核方法处理非线性分类问题，进一步提升了模型的实用性。