ChatGPT的原理分析

ChatGPT 是 InstructGPT 的衍生产品，它引入了一种新的方法，将人类反馈纳入训练过程中，使模型的输出与用户的意图更好地结合。来自人类反馈的强化学习（RLHF）在 openAI 的 2022 年论文《Training language models to follow instructions with human feedback》中进行了深入描述，在下文我们将进行简单的介绍。