基于统计学习理论的支持向量机算法研究
1 理论背景
基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找
规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没
有一种被共同接受的理论框架，关于其实现方法大致可以分为三种
[3]
：
第一种是经典的（参数）统计估计方法。包括模式识别、神经网络等在内，现有机器学
习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中，
参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性，首先，
它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于
无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有
限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
第二种方法是经验非线性方法，如人工神经网络（ANN）。 这种方法利用已知样本建立非
线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。
与传统统计学相比，统计学习理论（Statistical Learning Theory 或 SLT）是一种专门研究
小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，
在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条
件下得到最优结果。V. Vapnik 等人从六、七十年代开始致力于此方面研究
[1]
，到九十年代中
期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，
统计学习理论开始受到越来越广泛的重视。
统计学习理论的一个核心概念就是 VC 维(VC Dimension)概念，它是描述函数集或学习机
器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展
出了一系列关于统计学习的一致性(Consistency)、 收敛速度、推广性能(Generalization
Performance)等的重要结论。
统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了
一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比
如神经网络结构选择问题、局部极小点问题等）； 同时，这一理论基础上发展了一种新的通用
学习方法──支持向量机（Support Vector Machine 或 SVM）， 已初步表现出很多优于已有方
法的性能。一些学者认为，SLT 和 SVM正在成为继神经网络研究之后新的研究热点，并将推
动机器学习理论和技术有重大的发展。
支持向量机方法是建立在统计学习理论的 VC 维理论和结构风险最小原理基础上的，根
据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即
无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin
Ability)。支持向量机方法的几个主要优点有：
1. 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数
趋于无穷大时的最优值；
评论0