# Knowledge-driven-dialogue
## 2019 Language and Intelligence Challenge--BaiDu
---
### 竞赛详情
1. 竞赛任务
给定对话目标g及相关知识信息M=f1,f2,...,fn。要求参评的对话系统输出适用于当前对话序列H=u1,u2,...,ut-1的机器回复ut 使得对话自然流畅、信息丰富而且符合对话目标的规划。 在对话过程中，机器处于主动状态，引导用户从一个话题聊到另一个话题。因此，对话系统为机器设定了一个对话目标，g 为“START->TOPIC_A->TOPIC_B”, 表示从冷启动状态主动聊到话题A，然后进一步聊到话题B， 提供的相关知识信息包括：话题A的知识信息，话题B的知识信息，话题A和话题B的关联信息。
2. 数据简介
数据中的知识信息来源于电影和娱乐人物领域有聊天价值的知识信息，如票房、导演、评价等，以三元组SPO的形式组织，对话目标中的话题为电影或娱乐人物实体。
数据集中共有3万session，约12万轮对话，其中10万训练集，1万开发集，1万测试集，报名后可在数据下载区域下载。
3. 评价方法
3.1 自动评估指标
(1) F1: 评估输出回复相对于标准回复在字级别上的准确召回性能，是评估模型性能的主指标；
(2) BLEU: 评估输出回复相对于标准回复在词级别上的性能，是评估模型性能的辅助指标；
(3) DISTINCT: 评估输出回复的多样性，是评估模型性能的辅助指标；
以上自动指标将用于排行榜上的排行。
3.2 人工评估指标
排行榜前10个对话系统进入人工评估阶段，从流畅性、一致性和主动性等几个维度进行评估，最终排名以人工评估结果为依据。
---
### 竞赛环境
#### 利用基线开源系统测试
- 基于pytorch框架实现的生成式模型
#### 个人训练实验结果
##### 第一阶段测试数据提交４月中旬（5000左右数据）
- Avg_Len-11.098 Bleu-0.5614/0.4249 Inter_Dist-0.0044/0.0215
- Target: AVG_LEN-12.520 Inter_Dist-0.0517/0.2706
- 提交官方排名：第90名。
##### 第二阶段测试集提交５月中旬（10K+数据）
- Avg_Len-12.206 Bleu-0.0847/0.0686 Inter_Dist-0.0051/0.0233
- Target: AVG_LEN-1.000 Inter_Dist-0.0001/0.0000
- 提交官方排名：55名（score:0.921)
---
Updated 19 May 2019.
AI相关比赛项目Knowledge-driven-dialogue 2019 Event-Extraction 2020
需积分: 5 13 浏览量
2024-04-25
12:25:09
上传
评论
收藏 11.57MB ZIP 举报
AI-Competition-master.zip （66个子文件） 
AI-Competition-master .idea 
vcs.xml 180B workspace.xml 28KB misc.xml 383B Knowledge-driven-dialogue.iml 581B modules.xml 302B deployment.xml 517B Knowledge-driven-dialogue tools __init__.py 294B convert_session_to_sample.py 1KB conversation_server.py 2KB eval.py 5KB convert_conversation_corpus_to_model_text.py 3KB topic_materialization.py 1KB conversation_client.py 1KB conversation_strategy.py 1KB convert_result_for_eval.py 1KB KG_Model __init__.py 294B seq2seq.py 6KB dssm.py 6KB base_model.py 1KB knowledge_seq2seq.py 15KB __pycache__ knowledge_seq2seq.cpython-36.pyc 8KB __init__.cpython-36.pyc 177B base_model.cpython-36.pyc 2KB network.py 10KB utils generator.py 11KB __init__.py 271B metrics.py 6KB criterions.py 4KB misc.py 4KB engine.py 14KB output test.result.final 679KB
log.txt 1KB paper 
Learning to Select Knowledge for Response Generation in Dialog Systems.pdf 358KB run_test.sh 3KB InputHelper __init__.py 0B dataset.py 1KB field.py 8KB __pycache__ field.cpython-36.pyc 9KB dataset.cpython-36.pyc 2KB corpus.cpython-36.pyc 10KB __init__.cpython-36.pyc 149B corpus.py 12KB KG_modules __init__.py 295B encoders __init__.py 295B __pycache__ rnn_encoder.cpython-36.pyc 4KB __init__.cpython-36.pyc 188B rnn_encoder.py 6KB embedder.py 995B decoders __init__.py 295B rnn_decoder.py 6KB hgfu_rnn_decoder.py 8KB state.py 3KB __pycache__ hgfu_rnn_decoder.cpython-36.pyc 5KB state.cpython-36.pyc 3KB __init__.cpython-36.pyc 188B __pycache__ attention.cpython-36.pyc 3KB embedder.cpython-36.pyc 1003B __init__.cpython-36.pyc 179B attention.py 4KB run_train.sh 3KB dataSets resource dev.txt 2.84MB test.txt 5.44MB test_2.txt 10.99MB train.txt 28.34MB README.md 2KB README.md 83B资源评论
