pytorch实现具备预训练参数加载功能的bert模型

在pytorch上实现了bert模型，并且实现了预训练参数加载功能，可以加载huggingface上的预训练模型参数。 主要包含以下内容： 1) 实现BertEmbeddings、Transformer、BerPooler等Bert模型所需子模块代码。 2) 在子模块基础上定义Bert模型结构。 3) 定义Bert模型的参数配置接口。 4) 定义自己搭建的Bert模型和huggingface上预训练的Bert模型的参数映射关系。 5) 定义加载huggingface上预训练的Bert模型的参数到本地Bert模型的方法。 Bert模型结构参考HuggingFace的BERT结构。主要包括BertEmbedding、BertEncoder和BertPooler三部分。参考了HuggingFace的bert_base_uncased预训练模型的结构参数，总共包含了12层Transformer。vocab_size为bert_base_uncased预训练模型的字典大小，hidden_size为768，attention_head_num为12，intermediate_size为3072。