ChatGPT语言底层框架：
Transformer是一个由深度神经网络组成的多层网络，其模型的结构类似于神经元，Transformer 模型主要分为两大部分，分别是 Encoder 和 Decoder，建立了词与词之间的复杂关系，其参数之多，可以说其本身的语言模型已经接近人类，Transformer的训练时并行的，大大增加了效率；
ChatGPT的训练过程：
首先进行监督学习，就是是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，简单说就是在已知“答案”的情况下，训练机器输出的答案和标准答案的差距，通过不断的调整参数，达到训练效果的一种学习方式；
其次，奖励模型，针对一个问题，机器生成多个不同的回答，人工进行打分排序，训练奖励模型；
最后，强化学习，又称再励学习、评价学习或增强学习，使训练对象与环境不断进行交互，得到环境的反馈信息并调整自己的策略，最终完成特定的目标或者使得某个行为利益最大化，ChatGPT就是结合奖励奖励模型，不断的通过强化学习，更新预训练模型参数。ChatGPT（全名：Chat Generative Pre-trained Transformer），美国OpenAI [1] 研发的聊天机器人程序 [12] ，于2022年11月30日发布 [2-3]。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文 [21] 等任务。
