互联网新闻情感分析比赛，复赛第8名(8-2745)解决方案及总结.docx

互联网新闻情感分析比赛解决方案及总结 本文档提供了互联网新闻情感分析比赛的解决方案及总结，成绩排名第八名（共2745支参赛队伍，实际有效提交851个提交）。比赛的任务是对给定文本进行情感极性分析，情感极性包括正、中、负三类。通过分享本次参赛方案总结，希望能和大家共同交流。 技术方案 本次比赛的解决方案基于BERT、BERT-wwm、ERNIE、XLNet、RoBERTa等基于transformer模型的文本分类工具，支持transformer接CNN/LSTM/GRU等模型。通过对数据的分析和模型的选择，实现了较高的准确性。 数据分析 数据来源于新闻网、微信、博客、贴吧等，数据中多包含非正式文本。因此，本次比赛更适合使用ERNIE模型来微调，因为ERNIE多使用微博、网页等数据进行预训练得到的，而谷歌的原始中文BERT使用维基百科等正式文本进行预训练得到。文本长度的分布情况显示，大部分文本长度都集中在5000字以下，且接近5000字都很少。样本平衡情况显示，样本不平衡，样本为“1”的数量最多，为“0”的最少。 模型 模型的选择基于BERT、BERT-wwm、ERNIE、XLNet、RoBERTa等模型，具体使用的代码基于郭达雅的开源Baseline上进行修改。在模型的具体使用中，采用十折交叉验证对数据进行充分迭代，但很多人一般是将交叉验证的预测结果取平均，实际上，在我的实验过程中，如果是对这十个预测结果采用等权重投票的融合方法的话，会得到更好的单模型效果。 Ensemble 方法 Ensemble 方法包括取平均法和投票法。投票法效果很好，简单暴力上分很快。同时，也可以采用非等权重投票方法，可对最好的三个模型设置 4、3、2 这样的权值，或 5、2、2、2 也能取得不错的效果。 Tricks 1. 伪标签（Pseudo-Label）：伪标签对模型的提升非常大，其具体做法简单来说就是，把预测结果中多数模型都一致认为的类别当做其正确的标签，然后将该标签及其对应的内容增加到原始训练集中再进行训练。 2. Hyper Parameters：模型的初始学习率可谓是最重要的超参数，比赛时设置一个比较好的初始学习率，就能得到一个不错的结果。 3. Data Augmentation：TTA这里TTA指的是互译。但我并没有实验成功。