**预训练模型(Pre-trained Models,PTMs)**的出现将NLP带入了一个全新时代。2020年3月18日，**邱锡鹏老师**发表了**关于NLP预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》**[[1\]](https://zhuanlan.zhihu.com/p/115014536#ref_1)，这是一篇**全面的综述**，**系统**地对PTMs进行了**归纳分类**。
知乎上发表的本文以此篇综述论文为主要参考，通过借鉴不同的归纳方法进行总结，同时也**整合**了专栏之前已经介绍过的《[nlp中的词向量对比](https://zhuanlan.zhihu.com/p/56382372)》和《[nlp中的预训练语言模型总结](https://zhuanlan.zhihu.com/p/76912493)》**两篇文章，以QA形式对PTMs进行全面总结归纳**。
本文是.md笔记档
