1
感谢
Research supported by Research CouncilK.U.Leuven： GOA-Mefisto666， IDO(IOTA
oncology ， genetic networks) ， several PhD/postdoc&fellow grants ； Flemish
Government ： FWO ： PhD/postdoc grants ， G.0407.02(support vector machines) ，
projectsG.0115.01(microarrays/oncology) ， G.0240.99(multilinear algebra) ，
G.0080.01(collective intelligence) ， G.0413.03(inference in bioi) ，
G.0388.03(microarrays for clinical use) ， G.0229.03(ontologies in bioi) ，
G.0197.02(power islands) ， G.0141.03(identification and cryptography) ，
G.0407.020(control for intensive care glycemia) ， G.0407.021(QIT) ， research
communities(ICCoS，ANMMM)；AWI：Bil. 情报。 匈牙利、波兰、南非的协
作；IWT：博士学位，STWW-Genprom（基因促进预测），GBOU-Mc Know
（知识管理算法），GBOU-S QUAD（群体感应），GBOU-ANA（生物传感
器）；Soft4s（软传感器）比利时联邦政府：DWTC(IUAP IV-02（1996-2001）
和IUAPV-22（2002-2006)）；PODO-II
(CP/40：TMS和可持续性)；欧盟：CAGE；ERNSI；Eureka2063-IMPACT；
Eureka2419-FliTE ； 合 同 研 究 / 协 议 ： Data4s 、 Electrabel 、 Elia 、 LMS 、
IPCOS、VIB；JS是比利时K.U.Leuven的教授和FWO Flanders的博士后研究
员。 TVG是FWO公司的博士后研究员. BDM和JWDW是比利时K.U.Leuven
的正式教授。
2
目录
1
导言 4
2
鸟类在LS-SVM实验室上的视野 5
2.1
分类和回归
.....................................................................................................................
5
2.1.1
分类扩展
.............................................................................................................
6
2.1.2
调谐，稀疏，健壮
........................................................................................
6
2.1.3
贝叶斯框架
.....................................................................................................
8
2.2
NARX模型和预测
.....................................................................................................
8
2.3
无监督学习
.....................................................................................................................
8
2.4
用固定尺寸LS-SVM解决大规模问题
.....................................................................
9
3
LS-SVMlab工具箱示例 10
3.1
分类
...............................................................................................................................
10
3.1.1
你好，世界。
...................................................................................................
10
3.1.2
里普利数据集
..............................................................................................
12
3.1.3
贝叶斯分类推理
...............................................................................................
14
3.1.4
多类编码.
..........................................................................................................
16
3.2
回归
...............................................................................................................................
17
3.2.1
一个简单的辛克例子
.......................................................................................
17
3.2.2
回归的贝叶斯推理
...........................................................................................
19
3.2.3
使用面向对象模型接口
..............................................................................
20
3.2.4
强劲回归
...........................................................................................................
22
3.2.5
多输出回归
..................................................................................................
23
3.2.6
时间序列示例：Santa Fe激光数据预测
.....................................................
24
3.2.7
固定尺寸LS-SVM.
............................................................................................
25
3.3
基于核的主成分分析的无监督学习
.....................................................................
28
A
MATLAB函数 29
A.1
一般注释
..................................................................................................................
29
A.2
函数调用索引
...............................................................................................................
30
A.2.1
训练和模拟
..................................................................................................
30
A.2.2
面向对象接口
..............................................................................................
31
A.2.3
训练和模拟功能
..........................................................................................
32
A.2.4
核心功能
.......................................................................................................
33
A.2.5
调谐，稀疏和健壮
......................................................................................
34
A.2.6
分类扩展
...........................................................................................................
35
A.2.7
贝叶斯框架
...................................................................................................
36
A.2.8
NARX模型和预测
........................................................................................
37
A.2.9
无监督学习.
......................................................................................................
38
A.2.10
固定尺寸LS-SVM
.............................................................................................
39
A.2.11
恶魔
...................................................................................................................
40
A.3
函数调用的字母列表
..............................................................................................
41
3
A.3.1
阿夫
................................................................................................................................
41
A.3.2
海湾错误酒吧
....................................................................................
42
A.3.3
海湾initlssvm
..............................................................................................
44
A.3.4
海湾lssvm
................................................................................................................
45
A.3.5
海湾LssvmARD
...................................................................................................
47
A.3.6
海湾模型班
..................................................................................................................
49
A.3.7
海湾优化
......................................................................................................................
51
A.3.8
海湾rr
....................................................................................
53
A.3.9
代码，codelssvm
.........................................................................................................
55
A.3.10
交叉戊酸盐
.....................................................................................
58
A.3.11
deltablssvm
...................................................................................................
61
A.3.12
去噪KPCA
..............................................................................................
62
A.3.13
埃昂
.....................................................................................................
64
A.3.14
initlssvm，changelssvm
.............................................................
65
A.3.15
熵
.........................................................................................................
68
A.3.16
核矩阵
...........................................................................................................................
69
A.3.17
kpca
................................................................................................................
70
A.3.18
潜在的lssvm
.............................................................................................
71
A.3.19
离开
.....................................................................................................
73
A.3.20
离开lssvm
...................................................................................................................
75
A.3.21
林核，MLP核，多核，RBF核
..............................................
77
A.3.22
林夫，梅德，错误分类，MSE，修剪
........
78
A.3.23
情节
.......................................................................................................................
80
A.3.24
预测
.................................................................................................
82
A.3.25
前，后
......................................................................................................................
84
A.3.26
环戊酸盐
.........................................................................................
85
A.3.27
山脊
.................................................................................................
87
A.3.28
鲁棒lssvm
.....................................................................................................................
88
A.3.29
中华人民共和国
.....................................................................................
89
A.3.30
西蒙
............................................................................................................................
91
A.3.31
稀疏
............................................................................................................................
93
A.3.32
训练
............................................................................................................................
94
A.3.33
隧道搜索和网格搜索
................................................................................................
96
A.3.34
验证
...............................................................................................
100
A.3.35
窗口化和窗口化NARX
...........................................................................................
102
4
第1章
导言
支持向量机(SVM)是解决非线性分类、函数估计和密度估计问题的有力方法，也导
致了基于核的学习方法在一般[3，16，17，34，33]中的许多其他最新发展。 在统计
学习理论和结构风险最小化的背景下引入了支持向量机。 在这些方法中，一个解决
凸优化问题，通常是二次程序。 最小二乘支持向量机(LS-SVM)是对标准支持向量机
[21，28]的重构，从而求解线性KKT系统。 LS-SVM与正则化网络[5]和高斯过程[37]密
切相关，但还强调并利用了原始双解。 经典模式识别算法的内核版本之间的链接，
如内核Fisher判别分析和无监督学习、递归网络和控制的扩展[22]。 健壮性、稀疏性
和权重[23]可在需要时强加给LS-SVMS，并开发了具有三个层次推理的贝叶斯框架
[29，32]。 将LS-SVM类似的原始对偶公式给出了核PC A[24]、核CCA和核PLS[25]。
对于超大 规模问题和在线学习，提出了一种固定尺寸LS-SVM 的方法，该方 法与
Nystr¨om采样[6，35]有关，在原始空间中主动选择支持向量并进行估计。
目前的LS-SVMlab工具箱用户指南包含Matlab/C实现的许多LS-SVM算法与分类，
回归，时间序列预测和无监督学习。
工具箱中对命令的引用用打字机字体书写。
最小二乘支持向量机的主要参考和概述是
j.a.k. 苏肯斯，范格斯特尔，J。 德布拉班特，B。 德莫尔，范德瓦尔，
最小二乘支持向量机，
世界科学，新加坡，2002年(IS BN981-238-151-1)。
LS-SVMlab主页是
http://www.
埃萨特。
库鲁文。
交流。
be/sista/lssvmlab/
根据GNU通用许可证策略：提供LS-SVMlab工具箱
版权
(C)2002
年
KULeuven-ESAT-SCD
此程序是免费软件；您可以根据自由软件基金会发布的
GNU
通用公共许可证的条款
重新分发和
/
或修改它；许可证的版本
2
，或（根据您的选择）任何以后的版本。
这个程序的分发是希望它将是有用的，但没有任何保证；甚至没有隐含的保证市场或
适合一个特定的目的。 有关
GNU
通用公共许可证规范的副本，请参阅
LS-SVMlab
或
GNU
通用公共许可证的网站。
