山西大学学报自然科学版
Ｊｏｕｒｎａｌ ｏｆ Ｓｈａｎｘｉ ＵｎｉｖｅｒｓｉｔｙＮａｔＳｃｉＥｄ
文章编号
基 于 函 数逼近的改进 ＳＭＯ 算 法 研 究
罗瑜
徐图
何大可
谌新年
西南交通大学 信息科学与技术学院四川 成都
湖南工程学院 计算机科学与技术系湖南 湘潭
摘要采用 Ｚｏｕｔｅｎｄｉ ｊｋ 最大下降方向法对基于函数逼近的工作集选择方式进行了分析并进行严格的数学推
导研究指出了目前二次逼近工作集选择策略存在的不足提出了改进的目标函数从而进一步完善了基于函数逼
近的 ＳＭＯ 算法
关键词支持向量机分解算法序贯最小优化函数逼近可行方向
中图分类号ＴＰ文献标识码Ａ
Ｖａｐｎｉｋ 等人提出的支持向量机Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ ＭａｃｈｉｎｅＳＶＭ 是一种针对小样本的学习算法
它避
免了人工神经网络等方法的网络结构难以确定过学习和欠学习以及局部极小等问题被认为是目前针对小
样本的分类回归等问题的最佳方法其基本思想是根据 Ｍｅｒｃｅｒ 核展开定理将输入样本通过非线性变换映
射到另一个高维特征空间然后在特征空间中构造最优分类超平面并在保证分类精度的同时最大化超平面
两侧的空白区域因此学习机器不但在训练集上得到优化而且在整个样本集上的风险也有上界这就是
ＳＶＭ 的结构风险最小化思想
本文主要探讨支持向量机中的训练算法也即是构造学习机器的过程基于篇幅原因本文重点阐述两
类分类问题并且只对标准 ＳＶＭ 进行讨论但本文的结论适用于各种 ＳＶＭ 的变形如 ｖＳＶＭ 等
支持向量机基础
对于两类问题给定样本集ｘ
ｉ
ｙ
ｉ
ｘ
ｉ
Ｒ
ｎ
ｙ
ｉ
ｉ ｌ 和核函数 Ｋｘ
ｉ
ｘ
ｊ
Ｋ 对应特征空间 Ｚ
Ｈｉｌｂｅｒｔ 空间的内积Ｋｘ
ｉ
ｘ
ｊ
ｘ
ｉ
ｘ
ｊ
是非线性映射函数训练 ＳＶＭ 分类器就是在特征
空间中寻找使得两类间隔最大的最优超平面 Ｈ支持向量机的训练过程本质上是解一个二次规划问题
ｍｉｎ
ｆ
Ｔ
Ｑｅ
Ｔ
ｓｔ Ｃｅ
ｙ
Ｔ
其中 是 Ｌａｒｇｒａｎｇｅ 乘子Ｑ 是 Ｈｅｓｓｉａｎ 矩阵其元素 Ｑ
ｉｊ
ｙ
ｉ
ｙ
ｊ
Ｋｘ
ｉ
ｘ
ｊ
ｅ 为元素全为 的向量Ｃ 是惩罚因
子问题是二次规划问题其最优解满足 ＫＫＴ 条件
ｙ
ｉ
ｇ
ｉ
ｉ
ｙ
ｉ
ｇ
ｉ
ｉ
Ｃ
ｙ
ｉ
ｇ
ｉ
ｉ
Ｃ
其中 ｇ
ｉ
ｌ
ｊ
ｉ
ｙ
ｉ
Ｋｘ
ｊ
ｘ
ｉ
ｂｂ 为阈值求出解
ｉ
后可直接计算权重 ｗ 和阈值 ｂ并构造决策函数
收稿日期
基金项目上海市特种光纤重点实验室科研项目地铁 ＣＢＴＣ 无线接入安全认证算法研究
作者简介罗瑜男四川乐山人博士研究生研究方向为并行计算及机器学习Ｅｍａｉｌｙｕｌｕｏｃｏｍ
资源评论
