ChatGPT为什么会有如此强大解答能力

目前ChatGPT没有公布官方的论文，能得到的信息目前只有官方blog的简介，其中介绍到ChatGPT有个“兄弟”叫InstructGPT，该模型已经发布论文，通过对比ChatGPT和InstructGPT两者模型的训练步骤，我们会发现两者的训练步骤高度相似（ChatGPT将模型GPT-3优化至GPT-3.5），具体如下图所示： ChatGPT训练原理 InstructGPT训练原理 为帮助大家了解ChatGPT的原理，主要参考InstructGPT的相关论文，来帮助大家理解ChatGPT是怎么被训练出来的。ChatGPT模型学习的四个阶段：1、学习文字接龙；2、人类老师引导接龙的方向；3、模仿人类老师的偏好；4、用增强式学习向模拟老师学习。 一、学习“文字接龙” GPT要做的事情就是给出上半句话，预测下一个可能出现的字，即“文字接龙”。通过收集网络上大量的文字句子，都可以让GPT进行学习，帮助GPT提升“接龙”的能力。这个阶段不需要进行人工标注。 大家一定会困惑，如果只是“你好”这个句子，后面可以接的字会有很多，比如“你好吗”，“你好帅”，“你好美”。其实GPT真正的输出是一