rc2020_electra:2020年ML再现性挑战

： 复制 该存储库包含在PyTorch中为所做的重新实现。 此项目是在课程的一部分中进行的。 预处理过程通过命令行进行嵌入和缓存，以进行预训练和下游任务。 通过此还可以提供带有1M步训练的预训练模型。 这项工作利用了HuggingFace库（变压器，数据集，令牌生成器）和PyTorch（1.7.1）。 有关更多信息，请参阅相关的[论文（正在审核）]（稍后添加）。 主要结果 我的结果与原始的ELECTRA的实现类似（Clark等人[2020]），尽管与两种实现的原始论文相比都存在细微的差异。 仅14M的参数，ELECTRA就绝对性能而言，胜过某些先前SOTA的并行预训练方法（例如GPT）或使用知识蒸馏的替代有效方法（例如DistilBERT）。 考虑到计算成本，ELECTRA明显优于包括BERT和TinyBERT在内的所有比较方法。 因此，这项工作支持了ELECTRA在计算资源低的情