bert-japanese:带有SentencePiece的BERT，用于日语文本

带有SentencePiece的BERT用于日语文本。 这是带有SentencePiece令牌生成器的日语BERT模型的存储库。 要将此存储库与所需的和一起克隆，请： git clone --recurse-submodules https://github.com/yoheikikuta/bert-japanese 预训练模型 我们为日语文本提供了预训练的BERT模型和SentencePiece模型。 训练数据是来自的日本Wikipedia语料库。 请将以下google驱动器中的所有对象下载到model/目录。 训练期间的损失函数如下（在1M步后，损失函数发生了巨大变化，因为max_seq_length从128更改为512 ）： ***** Eval results ***** global_step = 1400000 loss = 1.3773012 mask