PLM文件
和贡献。
介绍
预先训练的语言模型（PLM）是NLP中非常受欢迎的主题。 在此仓库中，我们列出了一些有关PLM的代表性工作，并通过图表显示了它们之间的关系。 随时分发或使用它！ 如果要在演示文稿中使用它，则可以获取该图的源PPT文件。
欢迎提出更正和建议。
我们还发布了 ，这是一个开放源代码的中文预训练模型动物园。 欢迎尝试。
文件
楷模
半监督序列学习。 戴安（Andrew M. Dai），Quoc V. Le 。 NIPS2015。[ ]
context2vec：使用双向LSTM学习通用上下文嵌入。 Oren Melamud，Jacob Goldberger，Ido Dagan 。 CoNLL2016。[ ] []（ context2vec ）
序列到序列学习的无监督预训练。 Prajit Ramachandran，Peter J. Liu，Quoc V. Le
