人工智能和机器学习之分类算法：支持向量机（SVM）：SVM的优化算法：拉格朗日乘子法.docx资源-CSDN文库

版权申诉

机器学习算法

37 浏览量 2024-08-29 08:12:54 上传评论收藏 26KB DOCX 举报

资源推荐

资源详情

资源评论

1

人工智能和机器学习之分类算法：支持向量机（SVM）：

SVM 的优化算法：拉格朗日乘子法

1 支持向量机（SVM）基础

1.1 1 SVM 的基本概念

支持向量机（Support Vector Machine, SVM）是一种监督学习模型，主要用

于分类和回归分析。SVM 的核心思想是找到一个超平面，使得两类数据在该超

平面两侧的间隔最大化。这个超平面被称为最大间隔超平面，而位于间隔边界

上的数据点被称为支持向量。

1.1.1 举例说明

假设我们有两类数据点，分别标记为+1 和-1，分布在二维空间中。SVM 的

目标是找到一个直线（在高维空间中称为超平面），这条直线不仅能够正确分类

所有数据点，而且使得两类数据点到直线的最近距离（即间隔）最大化。

1.2 2 最大间隔原理

最大间隔原理是 SVM 的核心。在 SVM 中，我们寻找一个超平面，使得正

类和负类数据点到该超平面的最近距离最大化。这个距离被称为间隔，而最大

间隔超平面能够提供最好的分类性能。

1.2.1 数学表达

设数据集为

(

x

i

,

y

i

)

，其中

x

i

是输入向量，

y

i

是输出标签（

+

1

或

−

1

）。SVM 的

目标是找到一个超平面

w

T

x

+

b

=

0

，其中

w

是权重向量，

b

是偏置项。最大间隔

超平面的条件是：

1

|

|

w

|

|

≥

y

i

(

w

T

x

i

+

b

)

|

|

w

|

|

对于所有数据点

(

x

i

,

y

i

)

。这意味着，对于所有数据点，它们到超平面的距离

至少为

1

|

|

w

|

|

。

1.3 3 线性可分 SVM

当数据集线性可分时，即存在一个超平面能够完全分开两类数据，SVM 通

过求解以下优化问题来找到最大间隔超平面：

min

w

,

b

1

2

|

|

w

|

|

2

剩余11页未读，继续阅读

内容反馈

版权申诉

kkchenjj

粉丝: 1w+
资源: 5460

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip