ChatGPT原理解析

在ChatGPT发布之初，我同许多AI从业者一样对这个被媒体号称要取代搜索引擎的聊天机器人产品是持怀疑态度的，但在深度体验之后，发现ChatGPT跟以往昙花一现的产品并不一样，它对于回答成熟的知识确实已经大有替代搜索引擎的能力，而其对上下文层层递进的连续交互能力简直颠覆了人们对大语言模型能力的想象。 尽管OpenAI没有公布ChatGPT的论文和相关的训练和技术细节，但我们可以从其兄弟模型InstructGPT以及网络上公开的碎片化的情报中寻找到实现ChatGPT的蛛丝马迹。根据OpenAI所言，ChatGPT相对于InstructGPT的主要改进在于收集标注数据的方法上，而整个训练过程没有什么区别，因此，可以推测ChatGPT的训练过程应该与InstructGPT的类似，大体上可分为3步： 1.预训练一个超大的语言模型； 2.收集人工打分数据，训练一个奖励模型； 3.使用强化学习方法微调优化语言模型。