NLP项目，主要包括atten-seq2seq和transformer模型，实现机器翻译以及对话系统

# NLP ### 介绍 NLP项目，主要包括atten-seq2seq和transformer模型，实现机器翻译以及对话系统。 ### 软件架构 软件架构说明 ### 安装教程 1. 在文件夹路径下 pip install -r requirements.txt 2. 可能安装完后会提示前面两个东西版本不符合，不用管他 3. transformer对话系统标准模型，在dailydialog训练对话系统模型，链接：https://pan.xunlei.com/s/VN8UfYM4o2Ef4r5hAHYm8KmUA1?pwd=5rht# 提取码：5rht 4. transformer机器翻译的模型就在model/translation文件夹里面。 5. transformer机器翻译的模型是用cuda:1训练的，如果要使用可能需要修改代码 如：gpu->cpu，即在CPU上使用 torch.load('trans_encoder.mdl', map_location= lambda storage, loc: storage) torch.load('trans_decoder.mdl', map_location= lambda storage, loc: storage) 如：cuda1->cuda0，即在gpu上使用 torch.load('trans_encoder.mdl', map_location={'cuda:1' : 'cuda:0'}) torch.load('trans_decoder.mdl', map_location={'cuda:1' : 'cuda:0'}) 6. Seq2Seq模型链接：https://pan.xunlei.com/s/VNSf-x6_dF6bKTECothnVkGYA1?pwd=w43w# 7. 模型名称可能需要修改为对应名称，和代码保持一致 ### 使用说明 1. 分对话系统和机器翻译两部分 2. data为数据集 3. model为训练的模型 4. translation文件夹下又分了Seq2Seq和transformer两个模型，大家按需查看使用 5. 以transformer文件夹为例，attention.py主要实现了注意力机制，transformer.py实现了transformer的主体架构，data.py为数据的预处理以及生成了词典、dataset、dataloader，readdata.py运行可以查看数据形状，train.py为训练模型，predict.py为预测，config.py为一些参数的定义。 6. transformer机器翻译的模型是用cuda:1训练的，如果要使用可能需要修改代码 如：gpu->cpu，即在CPU上使用 torch.load('trans_encoder.mdl', map_location= lambda storage, loc: storage) torch.load('trans_decoder.mdl', map_location= lambda storage, loc: storage) 如：cuda1->cuda0，即在gpu上使用 torch.load('trans_encoder.mdl', map_location={'cuda:1' : 'cuda:0'}) torch.load('trans_decoder.mdl', map_location={'cuda:1' : 'cuda:0'}) ### 结果 ##### base transformer: 1. 训练集loss 1.040, PPL 2.835 2. 验证集loss 2.768, PPL 17.635 3. BLEU1-4: [0.0773, 0.0376, 0.0104, 0.0053] 4. distinct1-3: [0.02798, 0.15453, 0.36269] ##### schedule sampling tg=0.9, tr=0.95 1. 训练集loss 0.930, PPL 2.538 2. 验证集loss 3.289, PPL 29.728 3. BLEU1-4: [0.0918, 0.0479, 0.0183, 0.0117] 4. distinct1-3: [0.029054, 0.18474, 0.43019] ### 各指标说明 1. loss为cross_entropy_loss，mean(-log(softmax(NLL(X)))) 2. ppl：根据每个词来估计一句话出现的概率 ppl=exp(loss) 3. bleu： 4. distinct：不重复数除以总数，以全部结果作测试