技术发展超出了所有人的预期
最近做了很多关于 chatGPT 的研究，感叹技术发展之快。因为我在
2019 年前后接触过 NLP 的研究，当时身边的朋友普遍的论调都是“相
比 CV 视觉领域，NLP 还需要 10 年才能应用”，现在看来真是目光短
浅了。如今 4 年过去了，语言模型能处理的问题大大超出了我们的理
解，落下 4 年的功课，最近重新研究，发现所谓的“大力出奇迹”不能完
全概括 openAI 这群人在技术路径选择的远见和坚持。如果大家能细品
这几年 NLP 领域技术发展之路，或许，会更感叹这群人的努力是多么
珍贵。
本篇文章也是对我最近研究的一个总结。因为我从 2020 年开始已经再
也没有写过代码，重新回看这些论文也很吃力，但是现在的思考角度会
更偏向业务人员，所以我想，写出来的内容对于技术小白来说应该更好
懂。
从循环神经网络 RNN 开始
我们把时间拉回到最早的语言模型身上。那时候最有效的模型应该就属
RNN，我们不去深究其中的细节原理，只从物理直觉角度阐述这一类模
型的特点。
