mlm-pytorch:Pytorch的屏蔽语言建模的实现，使其尽可能简洁明了

MLM（屏蔽语言建模）Pytorch 该存储库使您可以从序列数据的语料库中快速设置变压器的无监督训练。 安装 $ pip install mlm-pytorch 用法 首先pip install reformer-pytorch ，然后运行以下示例以查看无监督训练的一个迭代是什么样的 import torch from torch import nn from torch . optim import Adam from mlm_pytorch import MLM # instantiate the language model from reformer_pytorch import ReformerLM transformer = ReformerLM ( num_tokens = 20000 , dim = 512 , depth = 1 , m