基于循环卷积多任务学习的多领域文本分类方法.docx
版权申诉
200 浏览量
2023-02-23
20:03:00
上传
评论
收藏 538KB DOCX 举报
1. 引言
文本分类是自然语言处理中一项重要的基础工作
[1]
，具有广泛的应用场景，例如垃圾
邮件过滤、商品情感分类等。过去使用传统的机器学习方法进行文本分类。近年来，循环
神经网络(Recurrent Neural Netword, RNN)和卷积神经网络(Convolutional Neural Network,
CNN)等深度学习网络在文本分类任务中取得了很好的进展
[2]
。与传统方法不同的是，深度
学习方法能自主学习文本的深层语义特征。长短时记忆网络(Long Short-Term Memory,
LSTM)是一种改进的 RNN，可以有效地捕获文本的上下文信息，CNN 能够捕获文本的局
部特征。为每个领域的文本训练效果好的分类模型需要大量标记样本，由于手工注释是很
耗时的，因此很难获得。为解决此问题，很多研究者采用域适应方法
[3]
有效利用标签数据
进行文本分类。迁移学习过程中，当源域和目标域数据分布不同但任务相同时，这种特殊
的迁移学习为域适应学习。在文本分类任务中，一个领域的数据不足时，利用资源丰富的
源域学习到的知识去学习，减少领域之间的差异，提高领域文本分类的准确率。不同的
是，假设每个领域的标记数据不足以训练出一个准确的单一领域情感分类器。我们研究多
任务学习方法
[4]
，从多个领域中提取共享的特征，把各个任务的信息利用起来，使用有限
的标记样本训练一个比单一领域分类器性能更好的分类器。Liu 等人
[5]
开发出一种结合语义
分类和信息检索任务的多任务学习模型，采用词袋模型会丢失很多语义信息，共享一个深
度神经网络(Deep Neural Network, DNN)隐藏层很难得到文本的高层次语义信息。主流的多
任务学习模型采用 LSTM 获取文本表示
[6,7]
，但他们仅仅使用 LSTM 的最后一个隐藏层的输
出作为文本的特征表示，会导致文本特征被文本末尾单词所主导，丢失很多关键的信息。
常见的多任务学习模型有完全共享模型和共享私有模型。完全共享模型是多个任务共享一
个模型提取共享特征；共享私有模型则是多个任务通过共享一个模型提取共享特征，同时
每个任务输入到一个私有层提取特定任务的特征，再将两种特征融合起来，这样会对内存
和时间造成更大的消耗。
基于以上结论，本文提出一个基于循环卷积神经网络的多任务学习模型，本文方法中
不同领域的文本在一个多任务学习模型中联合训练，能够利用不同领域中的文本信息。考
虑时间和内存问题，本文采用完全共享模式，利用一个共享层提取特征，把相关任务的数
据信息利用起来学习，而不相关的部分可以作为噪声提升泛化效果。为了更全面地挖掘文
本特征，共享模型通过 LSTM 层获取文本的长短期依赖，再通过 CNN 层利用不同窗口的
卷积核提取句子不同位置的 n-gram 特征，还可以将 LSTM 的所有隐藏层输出利用起来，
不至于被最后一个单词所主导。模型可以将多任务学习与 LSTM, CNN 两种深度学习网络
的优势结合起来。为了评估本文所提模型性能，本文的实验数据集为：亚马逊的多领域情
感分类数据集和电影情感分类数据集。实验结果表明，本文所提模型优于单任务深度学习
模型和主流的多任务学习模型，能够有效地对多领域文本情感进行分类。
剩余14页未读，继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3663
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减5.97元 开通VIP
最新资源
- KMP算法（Knuth-Morris-Pratt算法
- KMP算法（Knuth-Morris-Pratt算法
- shufflenet模型-python语言pytorch框架训练识别张嘴闭嘴-不含数据集图片-含逐行注释和说明文档.zip
- resnet模型-基于人工智能的卷积网络训练识别面部表情识别-不含数据集图片-含逐行注释和说明文档
- resnet模型-python语言pytorch框架训练识别香蕉品质-不含数据集图片-含逐行注释和说明文档.zip
- KMP算法（Knuth-Morris-Pratt算法
- mobilenet模型-python训练识别塑料制品分类-不含数据集图片-含逐行注释和说明文档.zip
- KMP算法（Knuth-Morris-Pratt算法
- mobilenet模型-CNN图像分类识别葡萄品级果-不含数据集图片-含逐行注释和说明文档.zip
- KMP算法（Knuth-Morris-Pratt算法
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
