UST:不确定性自我训练

不确定性自我训练 UST或U ncertainty感知小号elf-牛逼下雨是预trainined语言模型特定任务的训练方法（如BERT，伊莱克特拉，GPT）与目标分类的任务，只有少数几个标记的例子大量未标记的数据。 我们在NeurIPS 2020上作为重点演讲发表的学术论文在此处详细介绍了该框架： 关键结果 对于每个类别的每个任务，只有20-30个带标签的示例以及大量任务特定的未标记数据，UST在数千个带标签的示例上进行微调的完全监督的预训练语言模型的准确度在3％以内。在基准数据集上进行文本分类时，比基线（例如BERT）提高了91％ ，最高提高了12％ 。 它不使用任何辅助资源，例如释义或反向翻译。 下表报告了5个基准数据集的文本分类结果，这些数据是多次运行的平均值。 BERT（30个标签） UDA SSL（30个标签） 经典ST（30个标签） UST（30个标签） BERT