背景：OpenAI 于 2015 年在旧金山成立，主要从事人工智能研究。2019 年
OpenAI 收到微软注资 10 亿美元，就 Azure 业务开发人工智能技术。2020 年发布
GPT-3 语言模型，由微软获得独家授权。2022 年，OpenAI 在 GPT-3.5 的基础上
推出了 ChatGPT，强化了人工智能的语言对话能力，引起社会广泛关注。2023 年，
微软拟对 OpenAI 追加数十亿美元投资，利用自身算力基础设施资源发挥与
OpenAI 业务协同效应，深入布局生成式 AI 技术。
原理：ChatGPT 采用监督学习+奖励模型进行语言模型训练，主要包括三个步骤：
1）第一阶段：训练监督策略模型。在 ChatGPT 模型的训练过程中，需要标记者
的参与监督过程；
2）第二阶段：训练奖励模型。借助标记者的人工标注，训练出合意的奖励模型，
为监督策略建立评价标准；
3）第三阶段：采用近端策略优化进行强化学习。通过监督学习策略生成 PPO 模
型，将最优结果用于优化和迭代原有的 PPO 模型参数。ChatGPT 的训练过程采用
单一模型+小样本学习+人类微调监督方式进行，取得了良好效果，验证了 AI 大
模型应用前景，大模型路线有望成为未来主流。
模型：ChatGPT 的成功离不开 AI 大模型的加持，强大的算法训练模型，使得
ChatGPT 在迭代中获得实现接近自然语言的表达能力。拆解模型来看：
1）ChatGPT 使用单一大模型，积累强大底层通用能力，背后来自微软丰富的算
力资源支持，并通过引入监督学习，有效填补了大模型同质化漏洞；
2）模型的具体训练模式，采用的是预训练语言模型，而预训练语言模型无需人
工标签，具备高效性、通用性与正则化等内生优势，且二代模型具备上下文交互
能力，推动模型语义理解能力升级；
3）Transformer 是大模型高效运行的根基，天然适合高并发训练，通过编码器
堆叠实现底层架构搭建。
特点：ChatGPT 属于 AIGC 的具体应用，相比过去的 AI 产品，在模型类型、应
用领域、商业化等层面呈现出新的特点。
1）技术方面：ChatGPT 属于自然语言处理领域，与早期的自然语言技术相比，
ChatGPT 采用大模型进行训练，并加入人工反馈增强学习(RLHF)方法，实现了效
果提升；
2）应用方面：ChatGPT 属于生成式 AI，相比于分析型 AI，不局限于已有的内容，
已在文艺创作，代码处理，营销等多个创造性场景内得到应用；
3）商业化方面：ChatGPT 在商业化方面彰显出强于以往 AI 应用的潜力，一方面
用户数快速增长，另一方面得到了微软为代表的科技巨头的支持，应用有望快速
