没有合适的资源?快使用搜索试试~ 我知道了~
用于半监督分类的二阶近似谱图卷积模型.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 83 浏览量
2023-02-23
20:18:42
上传
评论
收藏 986KB DOCX 举报
温馨提示
试读
14页
用于半监督分类的二阶近似谱图卷积模型.docx
资源推荐
资源详情
资源评论
随着信息科技的快速发展与推广, 人们收集、存储数据的能力得到了飞速提升. 在很
多实际任务中我们可以很容易地获取大量未标记(Unlabeled)的数据, 而标记数据往往是极其
昂贵和耗时的, 因此“标记数据少, 未标记数据多”的现象较为明显. 若只使用少量有标记样
本进行学习, 而忽略大量未标记数据是对数据资源的浪费. 此外, 由于图结构能够很自然地
用于对社交关系、生物分子结构及出版物引用关系等复杂系统建模, 因此以半监督学习的
方式分析基于图建模的这类问题是非常关键且有意义的. 节点分类作为图分析中的一项重
要研究, 受到了越来越多研究者的关注, 并广泛用于社交关系网络的用户画像
[1]
、引文网络
的文献分类
[2]
、风控系统中的异常检测
[3]
等领域.
近年来, 国内外学者提出了很多基于图的传统的学习方法用来有效地解决节点分类问
题, 这类方法通常将问题用一个包括节点及边的图 G(V,E)G(V,E)来建模, 图上的节点集 VV
表示样本, 每个节点一般会有一些特征描述且与某个固定的类别标签相关联, 而边集 EE 一
般是有权值的, 并且权值的大小表示样本之间的相似性程度. 当给定部分有标记的图时, 通
过使用少量有标记的数据和大量无标记数据的特征信息在已构建的图结构上共同学习一个
模型, 从而实现对未标记节点的分类. 基于图的传统分类方法, 在发展过程中主要形成了以
下分支, 一类是基于标签传播思想的设计方法
[4-8]
; 另一类是基于图嵌入的方法
[9-12]
. 基于标
签传播思想的方法主要是将有标记样本的标签信息在图上传播, 并利用图拉普拉斯正则项
约束有较大边权重的相邻节点具有相同的类别. Zhu 等
[4]
提出的标签传播(Label propagation)
方法, 使用一个约束的标签分配函数, 对每个未标记样本实例选择相邻节点中类别标签数量
最多的作为自己的标签类型, 随着类别标签的不断传播, 使得最终紧密相连的节点数据有相
同的类别标签. Talukdar 等
[5]
提出的方法是标签传播方法的一种变体, 它允许对已标记节点
的预测标签进行改变, 引入了节点的不确定性, 这种设计方式解决了标签传播算法中某些已
标记信息是噪声却无法在传播过程中对其进行修复的问题. Belkin 等
[6]
提出了流行正则
(Manifold regularization)方法, 目标函数设计时考虑了再生核希尔伯特空间(Reproducing
kernel Hilbert spaces, RKHS)中参数化的核函数且正则项中引入了样本的几何边缘分布信息.
Weston 等
[7]
提出的半监督嵌入(Semi-supervised embedding)方法将适用于浅层半监督学习技
术(如内核方法)的非线性嵌入算法应用到了深层结构中, 并且拓展了目标函数的正则项. 迭
代分类算法(Iterative classification algorithm, ICA)
[8]
则是在评估局部分类器与分配新标签之间
采用一个迭代的过程, 在每次迭代时, 根据其相邻节点的当前预测标签对图上节点数据进行
分类.
基于图嵌入的方法, 其主要动机是希望对每个节点学习一个低维的向量表示, 同时使
该向量表示尽可能的保持原来的拓扑结构关系及特征属性. Perozzi 等
[9]
提出的深度游动
(Deepwalk)算法作为经典的图嵌入方法, 它在图上利用随机游动的路径构造节点序列, 然后
使用 SkipGram 模型
[13]
更新学习节点的表示, 最终利用学习到的低维向量实现对图上节点数
据的分类. Line
[10]
和 Node2Vec
[11]
方法则使用更复杂的随机游动模型或广度优先搜索策略进
一步拓展了深度游动算法. Yang 等
[12]
提出了基于图嵌入的半监督学习框架, 通过注入类别
标签的方式来学习每个节点的嵌入表示, 实现对图上节点的分类.
虽然基于图的传统的分类方法在节点分类任务上已取得了一定的分类效果, 但是这类
方法仍存在着一些不足. 例如标签传播等算法在对未标记节点分类时只使用了类别标签和
图结构信息, 而没有利用节点本身的特征属性信息. 深度游动等算法只使用了图结构信息来
学习低维特征表达, 没有利用标签信息来辅助节点表示的学习. 没有充分利用已有的信息会
使最终分类精度及泛化性能受到较大影响.
近几年来, 卷积神经网络在计算机视觉
[14]
、语音识别
[15]
等机器学习任务上取得了巨大
的成功, 但由于图数据的每个节点邻域大小不一, 基于核的卷积在网格上的平稳性已无法满
足, 因此无法直接将卷积神经网络用到图分析问题上, 如何将卷积网络拓展到处理图数据的
研究得到了越来越多的关注. 根据卷积定义方式的不同, 将卷积神经网络推广到图数据的方
法概括为以下类别: 一类是空间域上的卷积方法
[16-19]
; 另一类是谱域上的卷积方法
[2, 20-21]
. 空
间域上的卷积方法是在图的节点上直接定义卷积, 该方法遵循了传统卷积神经网络的做法.
对于图上的每个节点, 卷积被定义为对其邻域内所有节点的加权平均函数, 且加权函数表征
了邻域对目标节点的影响. 该类方法的主要困难在于如何定义一个卷积算子来处理不同邻
域大小的节点数据, 并且保持卷积神经网络权值共享的属性. Niepert 等
[16]
提出了一种从任意
图结构中提取局部连通区域的通用方法, 不过其采用的方法是将局部图先转换为一维的序
列然后再使用传统的一维卷积进行处理, 该方法的主要缺点是转换序列之前需要首先定义
节点的优先顺序. Velickovic 等
[17]
提出图关注网络(Graph attention network)方法, 采用注意力
机制学习中心节点与每个相邻节点特征向量之间的相关性来获得不同的权重, 并通过特征
权重来聚合相邻节点的特征表示. Gao 等
[18]
提出的大规模可学习图网络(Large-scale learnable
GCN)方法, 通过对邻域节点的单个特征值大小排序以实现数据预处理, 训练时采用传统的
卷积方法. 图采样与聚合(Graph sample and aggregate)方法
[19]
从一阶邻居中采样固定数量的
邻居节点, 并使用某种聚集方法(如平均值、最大池化或 LSTM 等)将采样节点信息聚合来
更新中心节点的特征表示, 其在大规模图上表现出了较好的性能.
而谱域上的卷积方法基于图傅里叶变换
[22]
及卷积理论等, 先将图上的节点数据及滤波
器变换到谱域中进行运算, 然后再将谱域上得到的乘积结果通过图傅里叶逆变换转回到空
间域得到最终卷积结果. 该类方法首先由 Bruna 等
[20]
提出, 之后 Defferrard 等
[21]
使用多项式
近似谱滤波器的方式加速了卷积运算. Kipf 等
[2]
使用一阶线性逼近, 进一步简化了计算, 取
得了较好的分类效果. 但是通常该类方法节点的邻域组成较为简单, 每次聚集节点特征时只
考虑到直接相连的邻居节点信息, 而忽视了非直接相连的邻域信息, 因此每次提取节点特征
时不能够充分利用到丰富的图结构信息, 导致忽略了某些潜在的有利信息. 即使可通过堆叠
多层网络实现对二阶及更高阶邻居节点信息的整合, 但是由于图卷积网络采用多层消息聚
合的方案, 当堆叠多层网络后往往导致过平滑现象而使分类性能不增反降
[23]
. 目前 GCN 通
常局限于浅层网络, 一般使用 2 层网络时分类效果最好, 虽然为了加深网络可以使用残差连
接等技巧, 但即使使用了这些技巧, 也只是勉强保持性能不下降, 并没有提高性能.
针对这些问题, 本文希望在保持浅层网络的前提下, 能更好地利用到更丰富的结构信
息来实现对节点特征表示的学习, 提升最终的节点分类效果. 本文提出在利用切比雪夫二阶
截断展开多项式构造卷积模块的基础上, 精简模型参数, 并进行重标准化等优化处理, 使得
构造的二阶近似谱图卷积模块在每次更新节点特征表示时能够更有效地融合二阶邻居节点
的特征信息, 从而进一步提高节点分类的精度.
1. 二阶近似谱图卷积网络模型
本文提出了一种用于对图节点分类的二阶邻域近似谱图卷积网络模型, 总体框架描述
图如图 1 所示. 该网络模型共包含两层(隐层和输出层), 网络的输入数据为节点的属性矩阵
Xin∈RN×C,Xin∈RN×C, 它表示含有 NN 个节点且每个节点使用 CC 维向量进行描述的属性
矩阵. 隐层(Hidden layer)使用本文设计的二阶近似谱图卷积模块提取节点的隐特征表示, 然
后对得到的隐特征表示做非线性激活, 得到隐层输出 H
out
∈RN×H,∈RN×H, 其中 H 为隐层特
征维数, 并把结果送入网络的输出层(Output layer), 在输出层中使用构造的卷积模块对从隐
层送入的数据做卷积处理, 然后通过分类函数(Softmax function)预测每个节点的类别分布,
得到 O
out
∈RN×W,∈RN×W, 其中 W 为类别个数, 最终实现对节点的分类.
图 1 本文构造的二阶邻域谱图卷积网络描述图
Fig. 1 A schematic diagram of our two-order neighborhood spectral convolution network
下载: 全尺寸图片 幻灯片
下面分别从谱图卷积理论基础、二阶近似卷积模块设计、分层前向传播网络实现及模
型的损失函数构造等几个方面对本文提出的模型进行详细阐述.
1.1 谱图卷积基础
剩余13页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3694
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 国内IP地址大全 站长资源 访问IP设置 Order allow,deny 使用方法
- 【JavaScript实现点击鼠标出现爱心特效脚本】直接引入index.html文件可用!!!
- OPC Core Components Redistributable (x86).msi
- 一套基于Python的交易量化框架,详细复现步骤
- 顺序表定义及12个基本操作实现
- xilinx vbyone IP 网表文件
- 【JavaScript实现点击鼠标出现爱心特效脚本】直接引入index.html文件可用!!!
- Erlang环境,26.1.0.0和Erlang环境,26.1.0.0
- C 语言文件读写操作及完整代码示例
- RabbitMQ,3.12.10.0
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功