支持向量机多类分类问题
5星 · 超过95%的资源 需积分: 0 64 浏览量
2010-05-21
17:42:11
上传
评论
收藏 429KB PDF 举报 
2006 年第 11 期
信息技术
Information Technology
中图分类号 :TP301. 6 文献标识码 :A 文章编号 :1009 - 2552
(
2006
)
11 - 0019 - 05
基于支持向量机的多类分类研究
牛兴霞 , 杨奎河
(
河北科技大学信息学院 , 石家庄 050054
)
摘 要 : 现今流行的分类方法的重要基础是传统的统计学 , 前提是要有足够的样本 , 当样本数
目有限时容易出现过学习的问题 , 导致分类效果不理想。引入支持向量机方法 , 它基于统计学
习理论 , 采用了结构风险最小化原则代替经验风险最小化原则 , 较好的解决了小样本学习的问
题 ; 又由于采用了核函数思想 , 把非线性空间的问题转换到线性空间 , 降低了算法的复杂度。
对其相关内容包括优化算法及多类分类问题的解决进行了研究 , 最后用一个实例说明了该方法
的可行性和有效性。
关键词 : 统计学理论 ; 支持向量机 ; 多类分类
Research on multi - classification based on support vector machine
NIU Xing2xia , YANG Kui2he
(
College of Information Science and Engineering , Hebei University of Science and Technology ,
Shijiazhuang 050054 , China
)
Abstract : Most of the existing methods are based on traditional statistics ,which provides that conclusion only
for the situation where sample size is tending to infinity. So they may not work well in practical case with limi2
ted samples and easily lead to the problem of overfilling. This paper introduced the support vector machine
(
SVM
)
based on the theory of traditional statistics. This method can solve small - sample learning problems
better by using experiential risk minimization
(
ERM
)
in place of structural risk minimization
(
SRM
)
. Moreover ,
this theory can change the problem in non - linearity space to that in the linearity space in order to reduce the
algorithm complexity by using the kernel function idea. It studies some relational contents including the optimi2
zation algorithm and the solution to multi - classification. Finally ,through an example ,it shows that the pro2
posed method is effective and feasible.
Key words: statistical learning theory; support vector machine
(
SVM
)
; multi - classification
0 引言
传统统计学研究的是样本数量趋于无穷大时的
渐进理论 ,现有的方法也多是基于此假设 ,但在实际
问题中 ,样本数量往往是有限的 ,因此很多分类方法
在实际应用中不尽人意。鉴于传统方法的诸多不
足 ,必须尽快探索出一些新的具有良好性能的分类
方法。
支持向量机
(
Support Vector Machines ,简称 SVM
)
是在统计学习理论
[1 - 2]
的基础上发展起来的一种新
的学习方法 ,它的准确率一般优于传统的分类方法。
该方法具有很好的分类能力和较高的计算效率 ,不
需要对原始数据进行预处理就可达到满意的效果 ,
适合于多类分类。由于采用了结构风险最小化原则
代替经验风险最小化原则 ,较好的解决了小样本学
习的问题 ;又由于采用了核函数思想 ,把非线性空间
的问题转换到线性空间 ,降低了算法的复杂度。正
是因为其完备的理论基础和出色的学习性能 ,该技
术己成为机器学习界的研究热点 ,并在很多领域都
得到了成功的应用 ,如人脸检测、手写体数字识别、
收稿日期 : 2006 - 04 - 13
基金项目 : 中国博士后科学基金资助项目
(
2005038515
)
作者简介 : 牛兴霞
(
1981 -
)
,计算机应用技术专业硕士研究生 ,研究
方向为模式识别。
—91—
评论1