恋父：ELECTRA：预培训文本编码为鉴救父发电机

电子 介绍 ELECTRA是一种用于自我监督的语言表示学习的方法。 它可以用于使用相对较少的计算来预训练变压器网络。 训练ELECTRA模型以区分由另一个神经网络生成的“真实”输入令牌与“伪”输入令牌，这与的鉴别器类似。 即使在单个GPU上进行训练，ELECTRA在小规模上也能获得出色的结果。 大规模地，ELECTRA在数据集上获得了最新的结果。 有关详细说明和实验结果，请参考我们的ICLR 2020文件。 该存储库包含用于预训练ELECTRA的代码，包括单个GPU上的小型ELECTRA模型。 它还支持对下游任务进行微调ELECTRA，这些任务包括分类任务（例如 ），QA任务（例如 ）和序列标记任务（例如）。 该存储库还包含Electric的代码，Electra的版本受基于启发。 Electric提供了ELECTRA作为“负采样”的更原则的观点。 它还可以有效地生成文本的，该可用于重新排列语音识别或机器翻译系统的输出。 有关电气的详细信息，请参阅EMNLP 2020论文“ 。 发行型号 我们最初发布了三个预先训练的模型： 模型 层数 隐藏尺寸 参数 GLUE分数（测试集） 下