学界—FRATERNAL DROPOUT1
需积分: 0 191 浏览量
2022-08-03
20:27:35
上传
评论
收藏 463KB PDF 举报
学界 | FRATERNAL DROPOUT
2017-11-17
机器海岸线
选自 arXiv
作者：Konrad Zołna , Devansh Arpit , Dendi Suhubdy & Yoshua Bengio 等
机器海岸线编译
参与：方建勇
论文链接：https://arxiv.org/pdf/1711.00066
摘要：递归神经网络（RNN）是用于语言建模和顺序预测的神经网络中重要的一类架构。然
而，与前馈神经网络相比，RNN 优化是困难的。文献中提出了许多技术来解决这个问题。
在本文中，我们提出了一个简单的技术，称为 FRATERNAL DROPOUT，利用 DROPOUT 来实现
这一目标。具体来说，我们建议训练两个相同的副本 RNN（共享参数）与不同的 DROPOUT
掩码，同时最小化他们（pre-softmax）预测之间的差异。通过这种方式，我们的规则化鼓励
RNN 的表示与 DROPOUT 掩码是不相关的，因此是鲁棒的。我们证明了我们的正则化项是由
期望 - 线性 DROPOUT 目标所限定的，这个目标已经被证明是为了解决由于训练和推理
DROPOUT 阶段之间的差异而导致的差距。我们评估我们的模型，并在两个基准数据集 Penn
Treebank 和 Wikitext-2 上实现序列建模任务中的最新结果。我们还表明，我们的方法导致图
像字幕（Microsoft COCO）和半监督（CIFAR-10）任务的性能提高很大。
评论0