MLM（屏蔽语言建模）Pytorch
该存储库使您可以从序列数据的语料库中快速设置变压器的无监督训练。
安装
$ pip install mlm-pytorch
用法
首先pip install reformer-pytorch ，然后运行以下示例以查看无监督训练的一个迭代是什么样的
import torch
from torch import nn
from torch . optim import Adam
from mlm_pytorch import MLM
# instantiate the language model
from reformer_pytorch import ReformerLM
transformer = ReformerLM (
num_tokens = 20000 ,
dim = 512 ,
depth = 1 ,
m
