SMP2019ECDT-网易伏羲实验室-技术报告1

《SMP2019ECDT-网易伏羲实验室-技术报告1》涉及的核心主题是构建基于预训练的个性化对话系统。该报告探讨了在人机对话领域中赋予机器人个性的重要性，尤其是在缺乏大规模个性化对话语料的情况下如何有效利用预训练技术来生成具有个性化的回复。报告中详细介绍了研究方法、实验结果及其分析。 报告指出当前的个性化对话系统存在两大类别：一类是未明确给出个性化特征，另一类则是明确具备个性化特征。前者依赖于对话数据中隐含的个性信息，而后者则利用结构化或非结构化的用户特性。尽管预训练技术已经在NLP任务上取得显著成果，但在个性化对话生成方面仍面临挑战，特别是当对话数据中个性特征稀疏时。 针对这一问题，报告提出了一个三阶段的预训练方法。使用大规模中文语料预训练GPT语言模型，并以此初始化seq2seq模型的编码器和解码器参数。在包含少量个性化信息的大量对话数据上，继续训练seq2seq模型，让模型学习对话特性。通过策略性地从对话数据中提取与个性化相关的多轮对话，对seq2seq模型进行微调，强化模型学习对话与个性特征之间的关联。 实验部分，报告详述了数据集的处理，包括对话历史的拼接、个性化数据的结构化处理以及个性化对话的抽取。数据集包含543万多轮对话，每组对话可能涉及个性化信息，也可能不包含。报告还提及了数据预处理的步骤，如使用特定分隔符处理对话历史，将结构化个性数据转换为字符串输入模型。此外，报告提到了一个关键策略，即从大规模对话中抽取出与个性化相关的对话，以减少无关信息对模型训练的影响。 实验结果表明，这种方法在SMP2019中文人机对话技术评测任务二中表现出色，自动指标评测中获得了高分（BLEU: 0.0061，Perplexity: 292.67, Distinct: 0.2160），并在最终人工评测中获得流畅性、个性化和相关性的高评价。这证明了预训练模型在处理个性稀疏对话数据上的有效性。 总结而言，这篇技术报告揭示了预训练模型在构建个性化对话系统中的潜力，特别是在应对大规模、个性稀疏的对话数据时。通过预训练、微调和个性化对话抽取等策略，可以显著提升对话系统的个性化能力和自然度，为未来的人机交互提供了有力的技术支持。