4/23/23, 1:50 PM
解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗 - 知乎
https://zhuanlan.zhihu.com/p/602458131
1/7
解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗
已关注
话题收录
ChatGPT
544 人赞同了该文章
已认证帐号
Hugging Face
近段时间，ChatGPT 横空出世并获得巨大成功，使得 RLHF、SFT、IFT、CoT 等这些晦涩的缩写
开始出现在普罗大众的讨论中。这些晦涩的首字母缩略词究竟是什么意思？为什么它们如此重要？
我们调查了相关的所有重要论文，以对这些工作进行分类，总结迄今为止的工作，并对后续工作进
行展望。
我们先来看看基于语言模型的会话代理的全景。ChatGPT 并非首创，事实上很多组织在 OpenAI
之前就发布了自己的语言模型对话代理 (dialog agents)，包括 Meta 的 BlenderBot，Google 的
LaMDA，DeepMind 的 Sparrow，以及 Anthropic 的 Assistant (Anthropic 的 Claude 就是部
分基于 Assistant 继续开发而得的)。
其中一些团队还公布了他们构建开源聊天机器人的计划，并公开分享了路线图 (比如 LAION 团队
的 Open Assistant)，其他团队肯定也有类似的内容，但尚未宣布。
下表根据是否能公开访问、训练数据、模型架构和评估方向的详细信息对这些 AI 聊天机器人进行
了比较。 ChatGPT 没有这些信息的记录，因此我们改为使用 InstructGPT 的详细信息，这是一个
来自 OpenAI 的指令微调模型，据信它是 ChatGPT 的基础。
LaMDA
BlenderBot
3
Sparrow
ChatGPT /
InstructGPT
Assistant
组织 Google Meta DeepMind OpenAI Anthropic
能否公开访
问
否 能 否 有限 否
大小 137B 175B 70B 175B 52B
预训练
基础模型
未知 OPT Chinchilla GPT-3.5 未知
预训练语料
库大小 (词数)
2.81T 180B 1.4T 未知 400B
模型是否可
以
访问网络
✔ ✔ ✔
✖
✖
有监督
微调
✔ ✔ ✔ ✔ ✔
微调
数据大小
质量：6.4K
安全性：8K
真实性：4K
IR：49K
大小从 18K
到 1.2M 不等
的 20 个
NLP 数据集
未知
12.7K (此为
InstructGPT
，ChatGPT
可能更多)
150K+ LM
生成的数据
首发于
AI 长风破浪
写文章
赞同 544
19 条评论 喜欢 收藏
分享
资源评论
Java徐师兄
- 粉丝: 1540
- 资源: 2309
最新资源
- screenrecorder-20241221-204839.mp4
- Screenshot_20241221-204051.png
- 自考计算机网络原理04741真题及答案2018-2020
- YOLO算法-垃圾箱检测数据集-214张图像带标签-垃圾桶.zip
- Hive存储压缩与Hive3性能优化-必看文档
- YOLO算法-施工管理数据集-7164张图像带标签-安全帽-装载机-挖掘机-平地机-移动式起重机-反光背心-工人-推土机-滚筒-哑巴卡车.zip
- YOLO算法-俯视视角草原绵羊检测数据集-4133张图像带标签-羊.zip
- YOLO算法-挖掘机数据集-2656张图像带标签-自卸卡车-挖掘机-轮式装载机.zip
- YOLO算法-火车-轨道-手推车数据集-3793张图像带标签-火车-轨道-手推车.zip
- YOLO算法-垃圾数据集-6561张图像带标签-纸张-混合的-餐厅快餐.zip
- 技术报告：大型语言模型在压力下战略欺骗用户的行为研究
- YOLO算法-水泥路面裂纹检测数据集-5005张图像带标签-裂纹.zip
- YOLO算法-垃圾数据集-568张图像带标签-纸张-纸箱-瓶子.zip
- YOLO算法-施工设备数据集-2000张图像带标签-装载机-挖掘机-平地机-移动式起重机-推土机-滚筒-哑巴卡车.zip
- 防火墙系统项目源代码全套技术资料.zip
- 西门子V90效率倍增-伺服驱动功能库详解-循环通信库 DRIVELib.mp4
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
