总结-by hinse and weabean1
需积分: 0 41 浏览量
2022-08-08
23:12:51
上传
评论
收藏 315KB DOCX 举报
一、GAN for 对话系统
1.对话系统评价能否使用 GAN
从第一个方面讲，GAN 的判别器输出的概率值可以判别对话质量，即生成器生
成对话，判别器判断对话是否自然通顺，以及是否符合上下文，这样可以辅助
对话生成训练。
从第二个方面讲，GAN 的判别器输出的概率值不能做为一个类似 BLEU 那样的
权威评价指标，因为它只能适应当前训练的数据集，不同的数据集难以通用。
多样化的 GAN 也很难用来做一个大家都接受的评价指标，而且判别器是会过
拟合到当前训练任务的，以及还有文本风格的问题在里面。除非 NLP 的世界中
有一个跟 imagenet 一样权威的数据集，跑出一个类似 inception network 的权威
GAN 模型，搞一个类似 inception score 的指标，否则就没办法用。
2.GAN 在对话系统上的研究
代表论文：Adversarial Learning for Neural Dialogue Generation，用的是典型的
GAN 做条件生成（conditional generation）的套路，即在生成的时候把 condition
（label、上下文之类的）跟生成的内容一起给判别器，要求判别器既要判断生
成内容是否真实，又要判断生成内容与条件是否匹配。此处判别器需要用
SeqGAN 的强化学习方式训练。
3.不考虑条件生成，单单是要从高斯噪声中生成文本
代表模型是 SeqGAN 和对抗自编码器（Adversarial Auto-Encoder，简称
AAE）。
AAE 本体是一个自编码器，然后试图让编码层像一个高斯分布，称编码分布为
生成分布，称高斯分布为真实分布，用 GAN 对抗拉近，结构图如下：
评论0