没有合适的资源?快使用搜索试试~ 我知道了~
基于不确定性损失函数和任务层级注意力机制的多任务谣言检测研究.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 11 浏览量
2022-06-26
15:02:13
上传
评论
收藏 379KB DOCX 举报
温馨提示
试读
16页
基于不确定性损失函数和任务层级注意力机制的多任务谣言检测研究.docx
资源推荐
资源详情
资源评论
1 引言
近年来互联网科技发展迅速以微博、知乎、论坛等为代表的社交媒体在信
息传播方面扮演着越来越重要的角色。人们仅仅需要一台移动通信设备 便可在
社交平台上发布和传播信息。每天数以亿计的信息在各个平台自由流动 为谣言
的产生和传播提供前所未有的有利条件。而谣言通常被认定为为达某种目的而
被凭空捏造的信息。这类信息的传播可能会对社会生活、经济、政治等各个方
面带来重大影响因此谣言识别一直是亟待解决的热点和难点问题。
等
将谣言识别细分为以下 个子任务如图
所示。谣言勘探:该
任务从海量的文本中将无法辨别真伪的信息筛选出来 这些信息被视为疑似谣言
文本并在接下来的任务中做进一步判别谣言追踪:一旦疑似谣言信息被确认之
后关联追踪其相关信息包括但不限于评论信息和用户相关信息立场检测:通过
疑似谣言下的相关评论确定用户的态度谣言检测:作为谣言识别的最终步骤用
于判断疑似谣言的真假。
图
图 1谣言识别流程
Fig.1Rumor Identification Process
目前国内外对于谣言识别研究主要聚焦于单一的谣言检测任务采用基于内
容的谣言检测方法
通过谣言传播过程的文本特征
、用户内容特征
以及随时
间变化的趋势
进行谣言识别。但谣言识别研究中多个任务如何相互作用如何将
各个任务作为一个整体以有效地解决谣言问题是一个十分值得探究且有意义的
课题。已有的多任务谣言检测
研究对于各个任务的层次关系的界定都是通过
人工设定各个任务的权重将任务划分为主任务和辅助任务。该方法存在以下不
足:首先各个任务间设定一个合理的权重关系需要对于数据分布有着深刻的理
解和大量的实验基础其次当模型更换不同的数据集各个任务间的权重是否需要
发生变化有待考究。因此人工划分主任务和辅助任务是否具有必要是一个值得
讨论的问题。
基于以上问题本文通过引入同方差不确定性对损失函数加以优化并使用层
级注意力机制对模型加以改进使模型在训练不同的数据集时自发寻找任务之间
的最优权重避免人工划分主任务和辅助任务最终得到满意效果。本文以谣言检
测为解决谣言问题的关键步骤联合谣言勘探和立场检测任务构建基于不确定性
损失函数和任务层级注意力机制的多任务神经网络模型。
2 研究现状
近年来国内外学者对于谣言检测已进行大量研究但目前对于谣言检测相关
研究主要以单任务为主。谣言检测早期阶段研究者的注意力主要集中在特征提
取方面。 等
对用户、结构、语言和时间等特征进行综合并计算它们的
相对强度运用统计学习方法区分谣言的真假。 等
使用新浪微博数据集除
了文本的语义特征还将基于客户端的软件特征和基于发送文本的位置特征纳入
模型考虑范围。 等
强调了发布谣言的用户特征提出一种基于规则的方
法以识别 上的政治谣言。人工选择的特征虽然可以增加谣言识别的准确
率但是人工标注可能费时费力不利于实际检测。近年来深度学习的崛起在一定
程 度 上 解 决 了 这 个 问 题 。 ! 等
"
使 用 循 环 神 经 网 络 ( #$ % &
% '#%%)和其衍生模型进行谣言检测得到效果优于手工制作特征的模型。
等
在 #%% 基础上引入深度注意力机制相比于其他模型取得了更好的效
果。本文使用三个关联任务进行多任务学习通过不同的任务学习不同领域的语
义信息。该方法既有效学习其他特征又避免了耗费过多人工成本实现谣言的自
动化检测。
同时多任务学习在自然语言处理任务中取得了不俗的成绩。在主题 (关系推
理 方 面 && 等
使 用 卷 积 神 经 网 络 构 建 出 一 个 以 语 义 角 色 标 注
( )$ #& *&#* ) 为 主 任 务 包 含 词 性 ( + (,(
-$+.)标注、浅层句法分析( ')、命名实体识别(%)/
01#$%0# )、语言模型(*!/&*!)的多任务模型。
结果表明各种组合的多任务模型效果均优于单模型效果。在文本分类方面* 等
针对文本多分类任务提出三种不同的多任务贡献分类模型探索不同任务之间
的语义共享提高分类的准确性。在机器翻译方面2 等
使用多任务学习解
决多语言翻译及语料稀疏的问题。在谣言检测方面 3 等
使用跨编码器(解码
器共享的单一注意力机制该模型在资源受限的情况下相比单模型取得了更好效
果 4$' 等
提 出 基 于 长 短 期 记 忆 网 络 ( * ( )
!) 1*!)的多任务学习方法构建分别包含谣言勘探、立场检测和谣言
检测任务组合的模型该实验证明所包含的任务越丰富模型准确率越高! 等
在此基础上针对立场检测和谣言检测子任务提出 0(#%% 模型该模型对于每
个子任务附加单独门控循环单元(5/#$ 65#6)层增强提取的
语义信息。* 等
在多任务模型中引入用户信用信息和注意力(7)机
制用于提高谣言检测准确性。
在以往的多任务谣言检测研究中研究者主观为每个任务赋予固定权重划分
主任务和辅助任务。然而主任务和辅助任务划分是否合理有待研究。针对此问
题 等
将多任务模型转化为多目标优化问题寻找帕累托最优解。4/&&
等
在计算机视觉领域基于贝叶斯深度学习的不确定性
"
在联合语义分割、实
例分割和深度回归的多任务模型上取得较好效果。本文对同方差不确定性损失
函数
进行改进使之适用于多任务谣言检测研究并引入层级注意力机制
构建
基于谣言勘探、立场检测和谣言检测的多任务模型框架。
3 基于任务依赖不确定性和注意力机制的多任务谣言检测模型
目前已有的多任务谣言检测方法对于各个任务的层次划分都是通过模型损
失函数表示如公式()所示
。
Losstotal=∑wiLossi*88&9:*88
;<
其中=Losstotal*88& 为模型的损失函数由各个任务损失函数加权求和
确定=wi 为各个任务的权重=Lossi*88 为第 i 个任务的损失函数。
如何设定 wi更换不同数据集 wi 是否会发生变化多任务谣言检测主观
设定主任务和辅助任务是否合理是一个值得探讨的问题。
本文首次在多任务谣言检测领域引入同方差不确定性 将简单加权求和的损
失函数转化为不确定性损失函数。同时模型在联合谣言勘探、立场检测和谣言
检测的多任务检测模型中引入注意力机制加强模型的语义理解能力。根据每个
任务对谣言检测任务的重要度提供不同的权重增强带有支持、反对等标签的立
场信息和疑似谣言文本信息对于谣言检测任务的影响。
>同方差不确定性和损失函数优化
不确定性是深度学习中一个重要的研究方向
。不确定性可以划分为认知的
不 确 定 性 和 偶 然 的 不 确 定 性 。 其 中 认 知 的 不 确 定 性 ( 0-8)$
6$ 106)用于描述模型本身带有的不确定性由模型的参数决定偶然的
不确定(7& $6$ 176)用于描述观测中固有噪声带来的影响。偶
然的不确定性可以进一步划分为异方差不确定性和同方差不确定性。在多任务
学习中异方差不确定性根据不同的输入具有不同的差别。同方差不确定性不依
赖于输入数据但是在模型中与不同任务有关。
在多任务学习领域同方差不确定性表明了任务的相对置信度反映了分类和
回归问题的不确定性。因此本文将同方差不确定性作为误差项对多任务学习中
各个任务的权重进行优化。基于同方差不确定性中模型依赖于不同任务的特点
推导多任务谣言检测的损失函数。假设模型的语义输入为 x参数矩阵为 W任务
间的误差项为 σ2?模型输出为 fW(x),@;A<对于分类任务的概率估计如公式
()所示。
p(y∣∣fW(x),σ)=Softmax(1σ2fW(x))-;1,@A?<9,)A?,@A
;<
其中=y1 代表多任务谣言检测中的任务p 为概率估计值。
进一步对于公式()求极大似然估计如公式()所示。
logp(y=c∣∣fW(x),σ)=1σ2fWc(x)
−log(∑c'exp(1σ2fWc'(x)))&-;19$,@A?<9?,$@;A<(&:$BA-?,$B@A
;<
其中c 为模型的真实标签=fWc'(x),$B@;A<为 fWc(x),$@;A<中第 c'$B元素的
向量表示。
将 公 式 ( ) 扩 展 到 谣 言 检 测 多 分 类 任 务 损 失 函 数
L(W,σ1,σ2,σ3)*;@???<如公式()所示。
L(W,σ1,σ2,σ3)=−logp(y1,y2,y3=c|
fw(x))=Softmax(y1=c1;fw(x),σ1)⋅Softmax(y2=c2;fw(x),σ2)⋅Soft
max(y3=c3;fw(x),σ3)=∑K=3i=11σ2ifwc(x)−log(∑c′exp(1σ2ifwc′
(x)))=∑K=3i=1(p(y1|fw(x)σ)−log(∑c′iexp(1σ2fwc′i(x))(log(∑c′iexp(fwc
′i(x))))1σ2i)≈∑K=3i=1(Li(W)+log(σi))*;@???<9C&-;1119$D
,;A<<9,)A;19$,;A<?<⋅,)A;19$,;A<?<⋅,)A;19$,;A<?
<9:949?,$;A<C&;:$EA-;?,$E;A<<<9:949;-;1D,;A<?<C&;:$
EA-;?,$E;A<<;&;:$EA-;,$E;A<<<<?<F:949;*;@<G&;?<<
;<
其中=σ1、σ2、σ3?、?、? 分别代表谣言勘探、立场检测、谣言检测任
务的噪声=Li*(W)9=−log(softmax(yi,fW(x)))(&;8,)A;1,@;A<<<为分
类 任 务 i 的 交 叉 熵 损 失 。 为 了 简 化 计 算 粗 略 地 假 设
1σ2∑c'iexp(1σ2fWc'i(x))≈(∑c'iexp(1σ2fWc'i(x)))1σ2i?:$BA-;?,$B@;A<<
F;:$BA-;?,$B@;A<<<?。
最终传统的线性加权求和损失函数转化为通过学习参数 logσi&? 的不确
定性损失函数。模型摒弃了主观设定权重过程因此不需要假定主任务和辅助任
务。在训练过程中模型会自动寻找最优的 logσi&?求得最终的满意解。
>基于注意力机制的多任务谣言检测模型
基于任务层级注意力机制的多任务谣言检测模型结构如图
所示。整个模
型具有三个并行分支依次为谣言勘探任务、谣言检测任务和立场检测任务。各
个任务通过浅层的参数共享补充学习各个领域的相关知识提升模型泛化效果。
图
剩余15页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3541
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功