ganbert:使用半监督生成对抗网络增强BERT训练

甘伯特 论文代码GAN-BERT：具有健壮标签分类示例的生成式对抗性学习和一堆带标签的示例已在2020年ACL上发表-Danilo Croce （罗马大学Tor Vergata），朱塞佩·卡斯特鲁奇（ Giuseppe Castellucci） （亚马逊）和Roberto Basili的短文（罗马大学的Tor Vergata）。该文件可以在找到。 GAN-BERT是BERT的扩展，它使用“生成对抗”设置来实现有效的半监督学习模式。它允许使用由有限数量的标记示例和未标记材料的较大子集组成的数据集训练BERT。 GAN-BERT可用于序列分类任务（也涉及对文本对）。 该代码在TREC数据集上运行GAN-BERT实验，以实现细粒度的“问题分类”任务。我们在此程序包中提供了代码和用于运行实验的数据，方法是使用2％的标记材料（109个示例）和5343个未标记的示例。测试集由500个带注释的示例组成