ChatGPT 调研报告
2.2.2 ChatGPT 中的指令学习 . . . . . . . . . . . . . . . . . 31
2.3 思维链（Chain of Thought，COT） . . . . . . . . . . . . . . 32
2.4 基于人类反馈的强化学习（Reinforcement Learning with Hu-
man Feedback，RLHF） . . . . . . . . . . . . . . . . . . . . 33
第三章 大模型训练与部署 35
3.1 大模型并行计算技术 . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 并行计算框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3 模型部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3.1 预训练模型部署的困难 . . . . . . . . . . . . . . . . . . 40
3.3.2 部署框架和部署工具 . . . . . . . . . . . . . . . . . . . 41
3.3.3 部署技术和优化方法 . . . . . . . . . . . . . . . . . . . 43
3.4 预训练模型的压缩 . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 模型压缩方案概述 . . . . . . . . . . . . . . . . . . . . 45
3.4.2 结构化模型压缩策略 . . . . . . . . . . . . . . . . . . . 45
3.4.3 非结构化模型压缩策略 . . . . . . . . . . . . . . . . . . 46
3.4.4 模型压缩小结 . . . . . . . . . . . . . . . . . . . . . . . 46
第四章 ChatGPT 相关数据集 48
4.1 预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.1.1 文本预训练数据集 . . . . . . . . . . . . . . . . . . . . 48
4.1.2 代码预训练数据集 . . . . . . . . . . . . . . . . . . . . 50
4.2 人工标注数据规范及相关数据集 . . . . . . . . . . . . . . . . . 52
4.2.1 指令微调工作流程及数据集构建方法 . . . . . . . . . . 53
4.2.2 常见的指令微调数据集 . . . . . . . . . . . . . . . . . . 53
4.2.3 构建指令微调数据集的关键问题 . . . . . . . . . . . . . 54
第五章 大模型评价方法 59
5.1 模型评价方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.1.1 人工评价 . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.1.2 自动评价 . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.2 模型评价指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.2.1 准确性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.2.2 不确定性 . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.2.3 攻击性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4
