没有合适的资源?快使用搜索试试~ 我知道了~
基于时空Transformer的社交网络信息传播预测
需积分: 0 12 下载量 169 浏览量
2022-10-16
21:44:24
上传
评论 1
收藏 702KB PDF 举报
温馨提示
试读
13页
本文研究了信息传播预测问题,提出了一种基 于时空Transformer神经网络的模型STT来预测 传播过程.
资源推荐
资源详情
资源评论
计算机研究与发展
DOI
:
10.7544
/
issn1000
-
1239 . 20220064
Journal
of
Com
p
uter
Research
and
Develo
p
ment
59
(
8
):
1757
1769
,
2022
收稿日期
:
2021
-
01
-
09
;
修回日期
:
2021
-
03
-
31
基金项目
:
国家自然科学基金项目
(
61972135
,
61602159
);
黑龙江省自然科学基金项目
(
LH2020F043
);
哈尔滨科技创新人才研究专项资金
项目
(
2017RAQXJ094
)
This
work
was
su
pp
orted
b
y
the
National
Natural
Science
Foundation
of
China
(
61972135
,
61602159
),
the
Natural
Science
Foundation
of
Heilon
gj
ian
g
Province
(
LH2020F043
),
and
the
Innovation
Talents
Pro
j
ect
of
Science
and
Technolo
gy
Bureau
of
Harbin
(
2017RAQXJ094
)
.
通信作者
:
刘勇
(
liu
y
on
g
123456
@
hl
j
u.edu.cn
)
基于时空
Transformer
的社交网络信息传播预测
范
伟
刘
勇
(
黑龙江大学计算机科学技术学院
哈尔滨
150080
)
(
2201792
@
s.hl
j
u.edu.cn
)
Social
Network
Information
Diffusion
Prediction
Based
on
S
p
atial
-
Tem
p
oral
Transformer
Fan
Wei
and
Liu
Yon
g
(
Colle
g
e
o
f
Com
p
uter
Science
and
Technolo
gy
,
Heilon
gj
ian
g
Universit
y
,
Harbin
150080
)
Abstract
With
the
increasin
g
p
o
p
ularit
y
and
wide
a
pp
lication
of
social
networks
,
information
diffusion
p
rediction
has
g
raduall
y
become
a
hot
research
to
p
ic
in
the
field
of
social
network
anal
y
sis.
Most
p
revious
studies
either
onl
y
use
the
information
diffusion
se
q
uence
or
onl
y
use
the
social
network
between
users
to
make
p
rediction
,
failin
g
to
effectivel
y
model
the
com
p
lexit
y
of
the
information
diffusion
p
rocess.In
addition
,
recurrent
neural
network
(
RNN
)
and
its
variants
,
which
are
commonl
y
used
in
information
diffusion
p
rediction
,
are
difficult
to
ca
p
ture
the
correlation
between
information
effectivel
y
.To
address
the
above
p
roblems
,
we
p
ro
p
ose
a
novel
social
network
information
diffusion
p
rediction
model
called
STT
based
on
s
p
atial
-
tem
p
oral
Transformer.First
,
we
construct
a
hetero
g
eneous
g
ra
p
h
com
p
osed
of
a
social
network
g
ra
p
h
and
a
d
y
namic
diffusion
g
ra
p
h
,
and
use
g
ra
p
h
convolutional
network
(
GCN
)
to
learn
the
users'structural
features.Then
,
the
users'tem
p
oral
features
and
structural
features
are
p
ut
into
the
Transformer
for
fusion
to
obtain
users's
p
atial
-
tem
p
oral
features.In
order
to
effectivel
y
fuse
the
users'tem
p
oral
features
and
structural
features
,
a
novel
residual
fusion
method
is
p
ro
p
osed
to
re
p
lace
the
ori
g
inal
residual
connection
in
Transformer.
Finall
y
,
the
Transformer
is
used
for
information
diffusion
p
rediction.Extensive
ex
p
eriments
on
real
datasets
demonstrate
the
effectiveness
of
our
p
ro
p
osed
model
STT.
Ke
y
words
social
network
;
information
diffusion
p
rediction
;
Transformer
;
g
ra
p
h
convolutional
network
;
s
p
atial
-
tem
p
oral
feature
摘
要
随着社交网络的日益普及和广泛应用
,
信息传播预测逐渐成为了社交网络分析领域的一个热点
研究问题
.
之前大部分研究要么只利用信息传播序列
,
要么只利用用户之间的社交网络来进行预测
,
难
以对信 息 传 播 过 程 的 复 杂 性 进 行 有 效 建 模
.
此 外
,
常用于信息传播预测的循环神经网络
(
recurrent
neural
network
,
RNN
)
及其变体难以有效捕获信息之间的相关性
.
为解决上述问题
,
提出了一个新的基
于时空
Transformer
的社交网络信息传播预测模型
STT.
该模型首先构建由社交网络图和动态传播图
组成的异构图并使用图卷积网络
(
g
ra
p
h
convolutional
network
,
GCN
)
来学习用户的结构特征
;
然后将
用户的时序特征和结构特征放入到
Transformer
中进行融合来获取时空特征
;
为有效融合用户的时序
特征和结构特征
,
提出了一种新的残差融合方式来替 代
Transformer
中原有的残差连接
;
最 后 利 用
Transformer
来进行信息传播预测
.
真实数据集上的大量实验验证了模型
STT
的有效性
.
关键词
社交网络
;
信息传播预测
;
Transformer
;
图卷积网络
;
时空特征
中图法分类号
TP391
①
htt
p
s
:
//
g
ithub.com
/
DHGPNTM
/
STT
随着社交网络应用的日益普及
,
社交网络分析
已经成为数据挖掘领域的一个主要研究方向
.
目前
,
许多研究人员正通过对历史信息传播数据进行建模
来探索信息传播机制
,
预测信息传播过程
.
信息传播
过程预 测 在 谣 言 检 测
[
1
]
、
流 行 病 学
[
2
]
、
病 毒 式 营
销
[
3
]
、
媒体广告
[
4
]
、
新闻和模因
[
5
]
等领域具有广泛的
应用
.
传统的信息传播预测方法试图从信息传播数据
中学习信息传播模型
.
但这些方法通常依赖于网络
结构
、
时间信息
[
6
]
、
用户特征
[
7
]
、
信息内容
[
8
]
和用户
间的交互
[
9
]
等显式特征来构建传播模型
.
虽然这些
特征工程方法能提高预测的性能
,
但它需要大量的
人力和广泛的领域知识
,
缺乏泛化性
,
在不同的社交
网络平台中效果不稳定
.
近年来
,
随着深度学习的快速发展
,
许多工作都
试图用神经网络来解决信息传播预测问题
,
并取得
了良好的效果
[
10
-
11
]
.
现有大部分研究或者利用信息
传播序列
,
或者利用社交网络进行信息传播预测
,
传
播序列能反映信息传播趋势
.
基于这个观点
,
许多研
究
(
例 如
Dee
p
Diffuse
[
10
]
,
To
p
o
-
LSTM
[
11
]
,
CYAN
-
RNN
[
12
]
和
SNIDSA
[
13
]
)
学习信息传播序列的链式
结构
,
并使用
RNN
对生成的有向无环图的传播结
构进行建模
.
社交关系能加速信息传播过程
,
因为人
们普遍会和他们的朋友有着一致的兴趣爱好
,
并且
人们会有更高的概率转发或评论他们朋友所发布的
消息
.
基于这个观点
,
许多研究
[
7
,
14
-
15
]
利用用户在社
交网络中的相互影响来预测信息传播过程
.
然而
,
现有工作仍存在
3
个方面问题
:
1
)
现有的
研究要么仅利用信息传播序列
,
要么仅利用社交网
络
,
很少同时利用这
2
个重要因素
,
导致难以捕获传
播过程的复杂性
;
2
)
现有研究通常使 用
RNN
或其
变体来进行信息传播预测
,
但它们捕捉信息相关性
的能力不强
,
导致预测准确率不高
;
3
)
现有研究通常
将时序特征和结构特征进行简单拼接
,
难以对信息
传播过程中的时空特征进行有效建模
.
为解决 上 述 问 题
,
我 们 提 出 了 一 种 基 于 时 空
Transformer
(
s
p
atial
-
tem
p
oral
transformer
,
STT
)
的社交网络信息传播预测模型
.
该模型能将信息的
社交网络图和动态传播图结合起来进行信息传播预
测
.
对于问题
1
,
我们构建了一个由社交网络图和动
态传播图组成的异构图
,
然后使用
GCN
来获 取用
户的结构特征
;
对于问题
2
,
我们使用改善的
Trans
-
former
[
16
]
模型来进行序列任务预测
,
来改善捕捉信
息相 关 性 能 力
;
对于问题
3
,
我们将时序特征 作 为
Transformer
的
Quer
y
集
,
将结构特征作为
Ke
y
和
Value
集来有效融合时序特征和结构特征
,
从而捕
获用户的时空特征
.
此外
,
在实验中我们发现
Transformer
中原有
的残差网络融合的效果并不理想
,
所以我们提出了
一个新的残差融合方法
,
进一步融合用户的时序特
征和结构特征
,
改善融合效果
.
本文工作的主要贡献有
4
个方面
:
1
)
提出了一种新的基于时空
Transformer
的
神经网络
(
STT
)
用于社交信息传播预测
;
2
)
使用由社交图和传播图组成的异构图来联
合建模社交关系和信息传播关系
;
3
)
将
Transformer
模型应 用 到 信 息 传 播 预 测
领域
,
并提出了一种新的时空特征融合方式
,
用
Transformer
模型的
Quer
y
,
Ke
y
和
Value
集将时序
特征和结构特征进行融合
,
同时提出了一个新的残
差融合方法来进一步改善融合效果
;
4
)
在
3
个真实数据集上的实验结果表明
:
所提
出的
STT
模型能显著改善预测效果
.
可以下载本文的源码
①
.
1
相关工作
本节主要从
2
个方面介绍相关工作
,
1
)
信息传
播预测方法
;
2
)
Transformer
及其应用
.
1.1
信息传播预测
1.1.1
基于传播序列的方法
基于传播序列的方法根据观察到的传播序列来
8571
计算机研究与发展
2022
,
59
(
8
)
解释用户之间的影响
.
早期的一些工作假设在信息
传播过程中存在着一个先验传播模型
,
如独立级联
模型
[
17
]
或 线 性 阈 值 模 型
[
18
]
.
虽 然 这 些 模 型
[
17
-
19
]
刻
画了用户之间的隐式影响
,
但这些方法的有效性依
赖于先验信息传播模型的假设
,
而且这些假设很难
验证
.
随着神经网络的发展
,
一些研究
[
20
-
22
]
应用深度
学习从信息传播序列中自动学习底层传播序列的表
示来进行传播预测
.
例如
,
To
p
o
-
LSTM
[
11
]
构建了由
传播序列组成的动态有向无环图
(
DAG
),
并使用基
于拓扑感知的节点嵌入扩展了
LSTM
机制以学习
有向无环图的结构
.CYAN
-
RNN
[
12
]
将传播序列 建
模为树型结构
,
并采用了编码器 解码器框架来捕获
传播序列中的交叉依赖
.Dee
p
Diffuse
[
10
]
为了能利用
用户转发信息的时间戳
,
采用了注意力机制和嵌入
方法
,
根据之前观察到的传播序列来预测何时以及
何人将转发信息
.
大多数基于传播序列的方法都将传播预测问题
视为一个序列预测任务
,
其目的是按顺序预测传播
用户
,
并根据历史传播序列来研究如何影响未来的
传播趋势
.
这些方法在对传播过程建模时往往忽略
了用户之间的社交关系及其相互作用
.
此外
,
这些方
法也忽略了信息传播的全局影响
.
因此
,
如果只考虑
传播序列很难准确地预测信息传播过程
.
1.1.2
基于社交网络的方法
人们和他们的朋友会有一些共同的兴趣
,
如果
他们的朋友转发了一条推特或者微博
,
那么他们也
会有很大的概率去转发它
.
基于这种假设
,
最近的一
些研究
[
14
,
23
-
24
]
利用社交网络解释人际关系对传播预
测的影响并且用来提高信息传播预测的效果
.
例如
,
文献
[
7
]
尝试利用用户社会角色之间的相互作用及
其对信息传播的影响
,
提出了一种基于角色感知的
信息传播模型
.
该模型将社会角色识别和传播序列
预测结合到一个框架中
.
文献
[
13
]
利用社交网络中
邻居之间的结构特征和具 有顺序性 质 的 局 部 结 构
模式
,
并 采 用 基 于 循 环 神 经 网 络
(
recurrent
neural
network
,
RNN
)
的框架对传播序列进行建模
.
文献
[
15
]
提出多尺度信息传播预测模型
.
在微观视角下
他们使用
RNN
和强化学习共同预测下一个转发信
息的用户
,
在宏观视角下使用基于多任务的学习框
架在传播序列中评估转发信息用户的总数量大小
.
然而
,
大多数这些方法都过度关注于当前的信
息传播序列
,
忽略了其他信息的传播序列对当前信
息传播的影响
,
这不能捕获全局信息的转发关系
,
所
以它们不足以模拟信息传播过程中的复杂关系
.
与
只基于社交网络的模型不同
,
我们通过构建由社交
网络图和动态传播图来共同学习信息传播的全局结
构
,
可以显著提高模型预测的准确性
.
1.2
Transformer
在
Transformer
出现之前
,
se
q
2se
q
任务主要做
法是使用
RNN
及其变体或者
CNN
构成的编码器
解码器框架
.
但
RNN
具有无法并行运算和计算复杂
度高等缺点
,
因此自
Transformer
模型提出以来
,
很
多
NLP
问 题 尝 试 使 用
Transformer
来 解 决
.
文 献
[
25
]
提出了
Transformer
-
XL
,
通过递归机制和一种
新型相对位置编码方案来捕捉更长距离的上下文依
赖
,
解决上下文碎片问题
.
文献
[
26
]
提出了一个预训
练的语言表征模型
,
不再采用传统的单向语言模型
进 行 预 训 练
,
而 是 生 成 深 度 的 双 向 语 言 表 征
.
Transformer
在计算机视觉领域中也有很多的应用
.
例如
:
文献
[
27
]
尽可能使用原始
Transformer
结构
,
用
self
-
attention
机制完全替代
CNN
,
对于输入图像
进行切片
,
每个切片之间没有重叠
,
将切片结果作为
Transformer
的序列输入
.
目前在信息传播预测任务中
,
主 要 使 用
RNN
及其变体
LSTM
[
28
]
和
GRU
[
29
]
.RNN
及其变体在训
练时必须是对数据进行顺序处理即逐个用户进行处
理
,
因此无法并行训练
.
此外
RNN
及其变体对用户
的编码仅在下一个时间步被保留
,
这意味着当前用
户的编码仅强烈影响下一个用户的表示
,
在几个时
间步长之后其影响很快消失
.
而
Transformer
模型
可以避免递归
,
允许并行计算减少训练时间
,
并减少
由于长 期 依 赖 性 而 导 致 的 性 能 下 降
,
而 且 相 对 于
RNN
及变体
,
其结构灵活性和通用性更强
,
可以捕
捉信 息 相 关 性 的 范 围 更 广
.
此 外
,
在
NLP
领 域 中
Transformer
对句子的 处 理 是 非 顺 序 的
,
句子是整
体处理的
,
而不是逐字处理
.Transformer
不依赖于
过去的隐藏状态来捕获对先前单词的依赖性
,
而
是整体上处理一个句子
,
所以不存在丢失或忘记过
去信 息 的 风 险
.
基 于 以 上 诸 多 优 势
,
本 文 尝 试 将
Transformer
应用到信息传播预测任务中
.
2
问题定义
本节我们将要介绍用到的符号
,
并阐述要解决
的信息传播预测任务
.
9571
范
伟等
:
基于时空
Transformer
的社交网络信息传播预测
剩余12页未读,继续阅读
资源评论
想太多!
- 粉丝: 2774
- 资源: 38
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功