2101724_韩宇晨_语言分析与机器翻译实践报告1
需积分: 0 191 浏览量
2022-08-03
23:40:56
上传
评论
收藏 306KB PDF 举报
基于预训练模型和时序预测模型的对话情感探测任务
2101724 韩宇晨
1 摘要
针对对话情感探测任务，本文将其分为文本分类和时间序列预测两个子任务，
分别采用预训练模型和时序预测模型进行拟合，并使用预测结果融合的方式将两
种模型的预测结果结合在一起。在实验中，本文使用微调的 Roberta、Bert、Electra
三个模型，并与 GRU、Transformer-Encoder 相结合，得到了 0.7544 的 macro-f1
值，0.826 的准确率以及 0.719 的召回率，取得了 Rank1。
2 方案
2.1 初步分析
题目形式： 要求根据对话历史，预测最后一句话的情绪。情绪包括 Happiness,
Love, Sorrow, Fear, Disgust, None 对应着 1,2,3,4,5,6。
提供的数据集：
ID
Text
Labels
1
我就奇怪了 为啥你能拍得这么美呢 __eou__ 因为我做什么都
认真，都诚心诚意！ __eou__ 好你诚心诚意！我谦虚低调！咱
都是优秀品格的人再赞一个 干杯 __eou__ 嗯嗯，咱俩都是最
可爱的人！
2222
1）训练集中每段对话有 n 个句子，每个句子都有对应的情绪标签。
2）测试集包括 n 个句子的对话以及前 n-1 个情绪标签。
3）评测的排名指标是 macro-f1 值。
想到的三种做法：
1）测试时只使用最后一句话。相当于简单的文本分类。
2）测试时使用所有对话，以及前 n-1 个情绪标签。相当于先提取每句话的
特征，再将这些句子特征通过时序预测模型进行预测。
3）测试时只使用最后一句话，以及前 n-1 个情绪标签。相当于将任务分解
为两个子任务，一个是对最后一句话进行文本分类，一个是使用标签进行时序预
测。
方法 1 肯定是次优解，而方法 2，3 哪个更好不太好说，但是方法 3 在实现
上更简单一些，所以我先尝试了方法 1，在方法 1 的基础上尝试了方法 3，没有
尝试方法 2（方法 2 可能需要先用 Bert 来编码每一句，再用 LSTM 编码句子的
序列关系；或者不区分句子，直接在词级别进行注意力平均，但是 Labels 的监督
信号怎么用就成了问题）。
2.2 数据处理
为尝试方法 1，3，将提供的数据集处理为文本分类和时序预测数据集
文本分类数据集：
训练集：将对话按__eou___符号分开，并将每句话和其对应的标签配对
评论0