自然语言处理预训练技术综述

在目前已发表的自然语言处理预训练技术综述中，大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术，存在人为割裂自然语言预训练发展历程。