没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
124页
机器学习是人工智能的一个分支,其研究的目标是构建一个能够从数据中 自主学习出一定的规律(或模式)并将此规律应用于后续数据处理的系统。作 为一个基础性的学科分支,机器学习在许多领域有着重要的应用,例如生物信 息学、人工智能、航空航天、现代医学等。 图论作为一个数学分支,其在机器学习中的研究与应用近年来得到了快速 的发展。基于图论的机器学习算法就是把机器学习的问题归结为图论的问题 然后利用图论理论进行分析和求解的一类学习算法。相比较于其他算法模型, 基于图论的机器学习算法有着以下优势:一、图论作为一个数学分支,有着深 厚的数学理论背景,这为对机器学习算法从理论上分析做了必要的准备。二、 图论具有模型简单、概括力强的特点,这使得很多问题可以利用图论模型进行 描述和求解。三、图论模型可以利用矩阵描述并利用线性代数和矩阵理论知识 进行分析和求解,因此表达形式简洁但富有概括力,同时便于进行深入理论分 析。四、基于图论谱分析的机器学习算法很多具有闭合的解析解表达式,或者 可以利用凸优化理论进行求解,这样可以求得全局最优解,避免局部最优解。 已有的基于图论的机器算法研究主要集中在两个方面:一个是基于图
资源推荐
资源详情
资源评论
上海交通大学博士学位论文 摘要
基于图论的机器学习算法设计及在神经网络中的应
用研究
摘 要
机器学习是人工智能的一个分支,其研究的目标是构建一个能够从数据中
自主学习出一定的规律(或模式)并将此规律应用于后续数据处理的系统。作
为一个基础性的学科分支,机器学习在许多领域有着重要的应用,例如生物信
息学、人工智能、航空航天、现代医学等。
图论作为一个数学分支,其在机器学习中的研究与应用近年来得到了快速
的发展。基于图论的机器学习算法就是把机器学习的问题归结为图论的问题,
然后利用图论理论进行分析和求解的一类学习算法。相比较于其他算法模型,
基于图论的机器学习算法有着以下优势:一、图论作为一个数学分支,有着深
厚的数学理论背景,这为对机器学习算法从理论上分析做了必要的准备。二、
图论具有模型简单、概括力强的特点,这使得很多问题可以利用图论模型进行
描述和求解。三、图论模型可以利用矩阵描述并利用线性代数和矩阵理论知识
进行分析和求解,因此表达形式简洁但富有概括力,同时便于进行深入理论分
析。四、基于图论谱分析的机器学习算法很多具有闭合的解析解表达式,或者
可以利用凸优化理论进行求解,这样可以求得全局最优解,避免局部最优解。
已有的基于图论的机器算法研究主要集中在两个方面:一个是基于图论的
半监督学习算法,包括半监督分类算法、半监督降维等;二是基于图论的无监
督学习算法,包括谱聚类算法、无监督降维算法等。虽然已有算法在很多应用
中取得了成功,但仍有许多不足,概况说来有以下几点:一、图论的半监督学
习算法已被成功应用于许多领域,其主要特点是能够利用极少量标记样本对大
量未标记样本进行分类,这就减少了很多用于标记样本时所消耗的人力和财力
等资源。但半监督学习多为直推式学习且/或预测新样本时运算量较大。监督
学习的优势是能够在输入样本空间中构建一个监督模型,从而对已见样本和未
见样本都能高效地进行直接分类;其缺陷是要构建一个具有很好泛化能力的模
— i —
万方数据
基于图论的机器学习算法设计及在神经网络中的应用研究 上海交通大学博士学位论文
型往往需要大量标记样本进行训练。能否将二者的优势结合,利用极少标记样
本在输入空间中构建出一个具有良好泛化能力的高效监督模型是一个很值得
探讨的问题,具有很大的实用价值。本文在这方面进行了尝试。二、现有的聚
类算法,如谱聚类,虽然能够在很多情况下取得较好的结果,但在应对高维非
线性流形分布的数据时仍然有不足,具体表现为:对于不同流形分布出现交叠
或有类间有大量歧义点时聚类结果往往不满意或者需要进行复杂的非光滑优
化问题求解,从而需要很大的计算量和内存开销;更进一步,聚类算法对于每
个类别,无法在给出类别标记信息的同时给出此类中最具代表性的样本点,而
这一点在如视频或者文本自动摘要上有着重要应用。三、在处理时空分布数据
(spatio-temporal data) 时,由于时空分布数据具有一定的空间分布特性,同时这
种分布特性在时间上可能存在不断演化,而且此类数据的数据量一般较大。传
统的机器学习算法(如 SVM)适合于处理静态的向量数据,其很难学习和描述
此类时空数据中蕴含的这种复杂的、动态的时空交互演化关系。针对以上问题,
本文主要工作和创新点可归结为以下几个方面:
一、本文对基于图论的半监督学习算法 Local and Global Consistency (LGC)
进行了改进,使其具备“各向异性”的传播特性,即在高样本密度区域具有较
快的标记信息传播,在低样本密度区具有较慢的标记信息传播,从而抑制类间
区域的不正确标记信息传播。在此基础上本文提出了一种两步学习的新型监督
学习框架,能够在极少的标记样本数量情况下在输入空间中构建并学习一个具
有良好泛化能力的监督模型。
二、受到 LGC 算法和流形排序算法的启发,本文把传统欧氏空间中点云
中心概念拓展到黎曼几何中流形中心概念,提出了一种基于图论的 k 均值算法
用于非线性流形聚类。该算法不仅对传统高斯分布类型数据(适合于经典 k 均
值算法)具有很好的效果,而且对于(低维)流形分布的高维数据同样能够给
出很好的聚类结果,同时给每一类选出一个最具代表性的样本点,这些代表点
在数据集压缩及自动摘要上有着重要的应用。
三、进一步,本文针对以上算法中(也是许多其他图论算法中)的关键排
序矩阵的计算量大的特点,提出了一种时间和空间均为线性复杂度的快速算
法,对于大样本集具有很好的可扩展性,并把该算法引入到神经网络系统结构
的分析中,使得网络模型具有多种可视化效果,有助于更好地理解模型和数据。
同时在已有工作的基础上本文拓展了一种新型时空数据(Spatio-temporal data)
— ii —
万方数据
上海交通大学博士学位论文 摘要
学习架构,NeuCube 架构,使原有架构能更好地对任何时空数据进行处理,使
早期事件预警以及时空模式识别性能具有较大改善。
四、除此之外,本文还对图论机器学习算法中的一些其他问题进行了研究。
例如,不同类间往往存在歧义点(也称“桥接点”),这会对很多流形聚类算法
的性能造成严重影响。针对这种情况,本文给出了一种有效去除类间歧义点的
算法。还有,非线性多变量向量值函数的拟合,常用的方法是多层神经网络或
者单个分量函数逐个拟合,但前者网络类型和大小的选择缺乏统一的指导原则
且一般训练收敛速度较慢,使得普通用户较难使用;后者则需要多次拟合,且
会丢弃不同分量函数间存在的潜在关联信息。对此,本文对加权 LS-SVM 进行
了拓展,使之可以对任意非线性多变量向量值函数进行一次拟合,高效易用,
拟合精度也更佳。
同时,为了验证所提算法的有效性,每个算法都与国际上相似或相关的主
流算法以及最新算法进行了比较,比较实验同时在人工合成数据集和实际数据
集上进行。
关键词: 机器学习 图论模型 流形排序矩阵 图 k 均值
脉冲神经网络
— iii —
万方数据
上海交通大学博士学位论文 目录
目 录
摘要 i
ABSTRACT v
目录 ix
插图索引 xiv
第一章 绪论 1
1.1 研究背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 研究内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 研究贡献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 章节安排 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
第二章 图论相关基础与数学表示 9
2.1 本文数学符号约定 . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 图论的必要知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 流形排序矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 本章总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
第三章 改进 LGC 算法用于极少训练样本时构建监督模型 15
3.1 一种改进的 LGC 算法 . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2 一种新型监督模型构建框架:后验概率学习算法框架 . . . . . . . 23
3.3 后验概率传播:从标记样本到无标记样本的后验概率传播 . . . . 25
3.4 后验分布拟合:一个稳健多变量模型拟合后验概率分布 . . . . . 27
3.5 实验仿真 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.5.1 人工合成数据集 . . . . . . . . . . . . . . . . . . . . . . . . 34
— ix —
万方数据
基于图论的机器学习算法设计及在神经网络中的应用研究 上海交通大学博士学位论文
3.5.2 现实世界数据集 . . . . . . . . . . . . . . . . . . . . . . . . 40
3.6 本章总结与展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
第四章 基于流形排序矩阵的流形聚类与代表点选取算法 49
4.1 经典 k 均值算法回顾 . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2 一种新型图 k 均值流形聚类算法 . . . . . . . . . . . . . . . . . . . 52
4.2.1 更新类别中心 . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.2 更新成员关系 . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3 一种新型去除类间桥接点算法 . . . . . . . . . . . . . . . . . . . . 56
4.4 大数据集处理时的考虑 . . . . . . . . . . . . . . . . . . . . . . . . 57
4.5 实验仿真 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.5.1 基准算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.5.2 实验设置与参数选择 . . . . . . . . . . . . . . . . . . . . . 58
4.5.3 一种有效的类别中心初始化方法 . . . . . . . . . . . . . . 59
4.5.4 聚类性能试验 . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.5.5 代表点选取实验结果 . . . . . . . . . . . . . . . . . . . . . 66
4.5.6 时间复杂度对比实验 . . . . . . . . . . . . . . . . . . . . . 67
4.5.7 图的构建以及距离计算对于算法影响 . . . . . . . . . . . . 72
4.6 本章总结与展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
第五章 排序矩阵快速算法及神经网络特征映射和结构分析 75
5.1 一种快速的流形排序矩阵算法 . . . . . . . . . . . . . . . . . . . . 75
5.1.1 邻接矩阵的近似 . . . . . . . . . . . . . . . . . . . . . . . . 76
5.1.2 大矩阵求逆 . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.1.3 复杂度分析 . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.2 NeuCube 脉冲神经网络系统的特征映射与结构分析 . . . . . . . . 80
5.2.1 Neucube 脉冲神经网络架构 . . . . . . . . . . . . . . . . . 81
5.2.2 时序变量到三维神经网络的最优映射方法 . . . . . . . . . 83
5.2.3 流形排序矩阵算法用于网络结构分析和可视化 . . . . . . 87
— x —
万方数据
剩余123页未读,继续阅读
「已注销」
- 粉丝: 795
- 资源: 3612
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
- 1
- 2
- 3
前往页