![](https://csdnimg.cn/release/download_crawler_static/86712670/bg1.jpg)
最近的主要工作是:前半段协助师兄研究支持向量回归算法,以及比较支持向量回归与神
经网络算法的差异。下面是最后的研究报告。后半段主要研究了 click router 的语法,所以
这篇工作文档也分两部分来进行介绍。
第一段:神经网络与支持向量机的一些优势
人类通过学习,从已知的事实中分析、总结出规律,并且根据规律对未来的现象或无
法观测的现象做出正确的预测和判断,即获得认知的推广能力。在对智能机器的研究当中,
人们也希望能够利用机器(计算机)来模拟人的良好学习能力,这就是机器学习问题。基于
数据的机器学习是现代智能技术中的重要方面,机器学习的目的是通过对已知数据的学习,
找到数据内在的相互依赖关系,从而获得对未知数据的预测和判断能力,在过去的十几年里,
人工神经网络以其强大的并行处理机制、任意函数的逼近能力,学习能力以及自组织和自适
应能力等在模式识别、预测和决策等领域得到了广泛的应用。但是神经网络受到网络结构复
杂性和样本复杂性的影响较大,容易出现“过学习”或低泛化能力。特别是神经网络学习算
法缺乏定量的分析与完备的理论基础支持,没有在本质上推进学习过程本质的认识。 支持
向量机(SVM)是一种比较好的实现了结构风险最小化思想的方法。它的机器学习策略是
结构风险最小化原则为了最小化期望风险,应同时最小化经验风险和置信范围。而且相比神
经网络算法,其求出的是全局最优解。
第二段:支持向量分类机与回归机的异同
支持向量的分类问题和回归问题都要根据训练样本找到一个实值函数 g(x). 回归问题
的要求是:给定一个新的模式,根据训练集推断它所对应的输出 y(实数)是多少。也就
是使用 y=g(x)来推断任一输入 x 所对应的输出值。分类问题是:给定一个新的模式,根据
训练集推断它所对应的类别(如:+1,-1)。综上,回归问题和分类问题的本质一样,不
同仅在于他们的输出的取值范围不同。分类问题中,输出只允许取两个值;而在回归问题
中,输出可取任意实数。
第三段:介绍支持向量回归
支持向量回归是支持向量机用于回归中的情况,为了说明支持向 t 回归的几何意义,先考虑线
性情况。设给定训练样本集:
定义样本集 S 是ε一线性近似的,如果存在一个超平面 f(x)=<w,x>+b;下面的式子成立:
|
yi
―
f
(
xi
)
|
<
ε
,i=1,2,….,l;
下图显示了一个典型的线性近似: