融合多种类型语法信息的属性级情感分析模型.docx_属性级情感分析资源-CSDN文库

版权申诉

79 浏览量 2022-11-02 16:11:18 上传评论收藏 236KB DOCX 举报

资源推荐

资源详情

资源评论

属性级情感分析（ aspect based sentiment analysis,ABSA）是一种细粒

度的情感分类任务。与识别篇章、句子的整体情感倾向的粗粒度任务不同,属

性级情感分析的目标是识别句子中包含的不同属性的情感倾向

[1]

。例如,给定句

子“我们去吃了晚餐,虽然服务不错,但是不好吃。”,属性级情感分析要识别出句

子中包含的两个属性“晚餐”和“服务”的情感倾向分别是负向和正向。

解决属性级情感分析的传统方法是结合人工设计的特征和机器学习算法,

例如支持向量机、隐马尔科夫模型等

[2,3]

。随着深度学习的发展,越来越多的深

度学习模型被提出用于属性情感分析。Ruder 等人

[4]

提出使用层次长短期记忆

模型利用长评论里不同句子之间的情感关联来进行属性级情感分析。Tang 等

人

[5]

提出结合记忆网络和注意力机制的方法。近些年来,属性级情感分析的研究

重点在如何利用注意力机制更好地建模属性与情感表达的关系,提出了基于不

同形式注意力机制的模型

[6,7,8]

。

然而,基于注意力机制的模型却忽视了使用语法信息,这会导致模型难以正

确匹配属性和对应情感表达。例如,在句子“我们去吃了晚餐,虽然服务不错,但是

不好吃。”中,属性“晚餐”的对应情感表达是“不好吃”,但由于缺乏句子的句法信

息,基于注意力的模型可能会错将“不错”作为对应“晚餐”的情感表达。一方面,现

有的属性级情感分析标注数据集较小,基于注意力的模型很难从较小的数据集

中学习到通用的语法知识;另一方面,属性级情感分析往往面临多个属性、多种

情感倾向的复杂语境,情感表达也随着语言的发展更加复杂。于是,引入更多的

语法信息成为提高模型准确率的关键。本文提出一种融合多种类型语法信息的

神经网络模型,有效解决基于注意力机制的模型在多个属性、多种情感倾向的

复杂语境下的不足。首先 , 本文提出将预训练模型 BERT （ bidirectional

encoder representations from transformers）作为语法信息的来源。自 BERT

提出以来,大量工作使用它的最后一层的输出作为上下文相关词表示输入到模

型,而忽略了使用中间层。Jawahar 等人

[9]

通过实验得出结论,BERT 的不同层学

习到的知识有显著偏好：低层偏向学习短语结构信息,中层偏向学习句法信息,

高层偏向学习语义信息。这启发本文使用 BERT 的中间层引入短语结构、句法

等多种语法信息解决属性级情感分析的复杂语境问题。然后,本文使用依存句

法树引入句子结构信息。句子的依存句法树含有显性的结构信息,如图 1 所示,

属性“晚餐”在依存句法树中离与它相关的情感表达“不好吃”更近,而在句子的线

性形式中,“不错”比“不好吃”更靠近属性“晚餐”。在这种情况下,基于注意力机制

剩余12页未读，继续阅读

内容反馈

版权申诉

罗伯特之技术屋

粉丝: 3591
资源: 1万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip