BERT-pytorch：Google AI 2018 BERT pytorch实施

伯特·比托奇 Google AI的2018 BERT的Pytorch实现，带有简单注释 BERT 2018 BERT：用于语言理解的深度双向变压器的预培训论文URL： : 介绍 Google AI的BERT论文显示了在各种NLP任务（新的17个NLP任务SOTA）上的惊人结果，包括在SQuAD v1.1 QA任务上的表现优于人类F1得分。 本文证明，通过适当的语言模型训练方法，基于Transformer（自注意）的编码器可以有效地替代先前的语言模型。 更重要的是，他们向我们展示了这种预先训练的语言模型可以转移到任何NLP任务中，而无需建立特定于任务的模型体系结构。 这个惊人的结果将记录在NLP的历史中，我希望有关BERT的更多论文很快就会发表。 此回购是BERT的实现。 代码非常简单，易于理解。 其中一些代码基于带 目前，该项目正在进行中。 并且代码尚未验证。 安装 pip install bert-pytorch 快速开始 注意：您的语料库应准备成两行，并使用tab（\ t）分隔符 0.准备语料库 Welcome to the \t the jungle\n I can s