图神经网络回顾1
需积分: 0 134 浏览量
2022-08-03
14:44:39
上传
评论
收藏 541KB PDF 举报
图神经网络的回顾
A PREPRINT
袁袁袁铭铭铭潮潮潮
December 13, 2019
1 背背背景景景
随着机器学习和深度学习的发展， 越来越多的任务与深度学习开始结合，同时，现有的技术的局限性也显
得更为突出。许多学习任务需要处理图形数据，图形数据包含元素之间的丰富关系信息。 建模物理系统 ，
学习分子指纹，预测蛋白质界面以及对疾病进行分类都需要一个模型来从图形输入中学习。
在诸如从文本和图像之类的非结构 数据中学习的其 他领域中，对提取的结构的推理，例如句子的依存关系
树和图像的场景图，是一个重要的研究课题，它也需要图推理模型。
由于图的强大表达能力，利用机器学习来分析图的研究受到了越来越多的关注。 近年来，基于图神经网 络
变体的系统，例如图神经网络（
GNN
），图卷积网络（
GCN
），门控图神经网络（
GGNN
），图注意力网
络（GAT），在上述许多任务上均展现了突破性的性能。
这里根据回顾之前阅读的图神经网络相关的文章，进行简单的梳理总结。
2 研研研究究究现现现状状状
首先，对近年来的图神经网络方面的发展进行回顾： 图神经网络的概念最早在
2005
年提出。
2009
年
Franco
博
士在其论文中定义了图神经网络的理论基础。
最早的
GNN
主要解决的还是如分子结构分类等严格意义上的图论问题。 但实际上欧式空间
(
比如像图像
Image)
或者是序列
(
比如像文本
Text)
，许多常见场景也都可以转换成图
(Graph)
，然后就能使用图神经网络技
术来建模。 2009年后图神经网络也陆续有一些相关研究。
直到
2013
年，在图信号处理
(Graph Signal Processing)
的基础上，
Bruna
首次提出图上的基于频域
(Spectral-
domain)
和基于空域
(Spatial-domain)
的卷积神经网络。 其后至今，学 界提出了很多基于空域的图卷积方式，
也有不少学者试图通过统一的框架 将前人的工作统一起来。而基于频域的工作相对较少，只受到部分学者
的青睐。
计划将图卷积网络部分的内容另外进行综述，本文内容涉及图卷积网络提出前的各类网络及模型主要 包
含GNN和GGNN两篇论文。
3 图图图神神神经经经网网网络络络GNN
图神经网络起源于
Franco
博士的论文
[
1
],
它的理论基础是不动点理论。 它扩展了现有的神经网络，用于处理
图域中表示的数据。 在图中，每个节点自然是由其特征和相关节点定义的。
GNN
的学习目标是获得每个结点的图感知的隐藏状态 h
v
(state embedding)
，这就意味着：对于每个节点，它
的隐藏状态包含了来自邻居节点的信息。
GNN
通过迭代式更新所有结点的隐藏状态来实现每个结点感知到
图上的其他结点。
GNN
通过迭代式更新所有结点的隐藏状态来实现，在
t+1
时刻，结点
v
的隐藏状态按照如
下方式更新：
h
(t)
v
= f
∗
(l
v
, l
CO(v)
, l
N BR(v)
, h
(t−1)
N BR(v)
) (1)
评论0