1
人工智能和机器学习之分类算法：支持向量机（SVM）：
SVM 的优化算法：拉格朗日乘子法
1 支持向量机（SVM）基础
1.1 1 SVM 的基本概念
支持向量机（Support Vector Machine, SVM）是一种监督学习模型，主要用
于分类和回归分析。SVM 的核心思想是找到一个超平面，使得两类数据在该超
平面两侧的间隔最大化。这个超平面被称为最大间隔超平面，而位于间隔边界
上的数据点被称为支持向量。
1.1.1 举例说明
假设我们有两类数据点，分别标记为+1 和-1，分布在二维空间中。SVM 的
目标是找到一个直线（在高维空间中称为超平面），这条直线不仅能够正确分类
所有数据点，而且使得两类数据点到直线的最近距离（即间隔）最大化。
1.2 2 最大间隔原理
最大间隔原理是 SVM 的核心。在 SVM 中，我们寻找一个超平面，使得正
类和负类数据点到该超平面的最近距离最大化。这个距离被称为间隔，而最大
间隔超平面能够提供最好的分类性能。
1.2.1 数学表达
设数据集为
(
x
i
,
y
i
)
，其中
x
i
是输入向量，
y
i
是输出标签（
+
1
或
−
1
）。SVM 的
目标是找到一个超平面
w
T
x
+
b
=
0
，其中
w
是权重向量，
b
是偏置项。最大间隔
超平面的条件是：
1
|
|
w
|
|
≥
y
i
(
w
T
x
i
+
b
)
|
|
w
|
|
对于所有数据点
(
x
i
,
y
i
)
。这意味着，对于所有数据点，它们到超平面的距离
至少为
1
|
|
w
|
|
。
1.3 3 线性可分 SVM
当数据集线性可分时，即存在一个超平面能够完全分开两类数据，SVM 通
过求解以下优化问题来找到最大间隔超平面：
min
w
,
b
1
2
|
|
w
|
|
2
剩余11页未读，继续阅读
资源评论
