没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
95页
ChatGPT(全名:Chat Generative Pre-trained Transformer),美国OpenAI 研发的聊天机器人程序 ,于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文等任务。 本文档为2023年ChatGPT调研报告
资源推荐
资源详情
资源评论
ChatGPT 调研报告
(仅供内部参考)
哈尔滨工业大学
自然语言处理研究所(HIT-NLP)
2023 年 3 月 6 日
ChatGPT 调研报告
序言
2022 年 11 月 30 日,OpenAI 推出全新的对话式通用人工智能工具——
ChatGPT。ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力,
它可以很好地理解用户意图,做到有效的多轮沟通,并且回答内容完整、重
点清晰、有概括、有逻辑、有条理。ChatGPT 上线后,5 天活跃用户数高达
100 万,2 个月活跃用户数已达 1 个亿,成为历史上增长最快的消费者应用
程序。除了被广大用户追捧外,ChatGPT 还受到了各国政府、企业界、学
术界的广泛关注,使人们看到了解决自然语言处理这一认知智能核心问题的
一条可能的路径,并被认为向通用人工智能迈出了坚实的一步,将对搜索引
擎构成巨大的挑战,甚至将取代很多人的工作,更将颠覆很多领域和行业。
哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从
技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍
及总结。
本报告仅供内部参考。
主要编撰人员
第一章由车万翔、杨沐昀、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编
写;第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写;第
三章由刘铭、朱聪慧、汤步洲编写;第四章由徐永东、高翠芸、朱庆福编写;
第五章由杨沐昀、张伟男、韩一、庄子彧编写;第六章由隋典伯、高翠芸编
写;第七章由车万翔、刘铭编写。参与各章审校工作的还有:崔一鸣、徐志
明等。
报告整体由车万翔统稿。
2
ChatGPT 调研报告
目录
第一章 ChatGPT 的背景与意义 6
1.1 自然语言处理的发展历史 . . . . . . . . . . . . . . . . . . . . 6
1.2 大规模预训练语言模型的技术发展历程 . . . . . . . . . . . . . 8
1.3 ChatGPT 技术发展历程 . . . . . . . . . . . . . . . . . . . . . 8
1.3.1 ChatGPT 的相关技术 . . . . . . . . . . . . . . . . . . 10
1.3.2 ChatGPT 技术发展脉络的总结 . . . . . . . . . . . . . 11
1.3.3 ChatGPT 的未来技术发展方向 . . . . . . . . . . . . . 12
1.4 ChatGPT 的优势与劣势 . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 ChatGPT 的优势 . . . . . . . . . . . . . . . . . . . . . 13
1.4.2 ChatGPT 的劣势 . . . . . . . . . . . . . . . . . . . . . 15
1.5 ChatGPT 的应用前景 . . . . . . . . . . . . . . . . . . . . . . 16
1.5.1 在人工智能行业的应用前景及影响 . . . . . . . . . . . 17
1.5.2 在其他行业的应用前景及影响 . . . . . . . . . . . . . . 17
1.6 ChatGPT 带来的风险与挑战 . . . . . . . . . . . . . . . . . . 19
第二章 ChatGPT 相关核心算法 24
2.1 基于 Transformer 的预训练语言模型 . . . . . . . . . . . . . . 24
2.1.1 编码预训练语言模型(Encoder-only Pre-trained Mod-
els) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.1.2 解码预训练语言模型(Decoder-only Pre-trained Mod-
els) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.3 基于编解码架构的预训练语言模型(Encoder-decoder
Pre-trained Models) . . . . . . . . . . . . . . . . . . 28
2.2 提示学习与指令精调 . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.1 提示学习概述 . . . . . . . . . . . . . . . . . . . . . . . 30
3
ChatGPT 调研报告
2.2.2 ChatGPT 中的指令学习 . . . . . . . . . . . . . . . . . 31
2.3 思维链(Chain of Thought,COT) . . . . . . . . . . . . . . 32
2.4 基于人类反馈的强化学习(Reinforcement Learning with Hu-
man Feedback,RLHF) . . . . . . . . . . . . . . . . . . . . 33
第三章 大模型训练与部署 35
3.1 大模型并行计算技术 . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 并行计算框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3 模型部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3.1 预训练模型部署的困难 . . . . . . . . . . . . . . . . . . 40
3.3.2 部署框架和部署工具 . . . . . . . . . . . . . . . . . . . 41
3.3.3 部署技术和优化方法 . . . . . . . . . . . . . . . . . . . 43
3.4 预训练模型的压缩 . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 模型压缩方案概述 . . . . . . . . . . . . . . . . . . . . 45
3.4.2 结构化模型压缩策略 . . . . . . . . . . . . . . . . . . . 45
3.4.3 非结构化模型压缩策略 . . . . . . . . . . . . . . . . . . 46
3.4.4 模型压缩小结 . . . . . . . . . . . . . . . . . . . . . . . 46
第四章 ChatGPT 相关数据集 48
4.1 预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.1.1 文本预训练数据集 . . . . . . . . . . . . . . . . . . . . 48
4.1.2 代码预训练数据集 . . . . . . . . . . . . . . . . . . . . 50
4.2 人工标注数据规范及相关数据集 . . . . . . . . . . . . . . . . . 52
4.2.1 指令微调工作流程及数据集构建方法 . . . . . . . . . . 53
4.2.2 常见的指令微调数据集 . . . . . . . . . . . . . . . . . . 53
4.2.3 构建指令微调数据集的关键问题 . . . . . . . . . . . . . 54
第五章 大模型评价方法 59
5.1 模型评价方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.1.1 人工评价 . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.1.2 自动评价 . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.2 模型评价指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.2.1 准确性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.2.2 不确定性 . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.2.3 攻击性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4
ChatGPT 调研报告
5.2.4 毒害性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.2.5 公平性与偏见性 . . . . . . . . . . . . . . . . . . . . . . 65
5.2.6 鲁棒性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.2.7 高效性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.3 模型评价方法小结 . . . . . . . . . . . . . . . . . . . . . . . . 68
第六章 现有大模型及对话式通用人工智能系统 69
6.1 现有大模型对比 . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.2 对话式通用人工智能系统调研 . . . . . . . . . . . . . . . . . . 72
6.2.1 对话式通用人工智能系统 . . . . . . . . . . . . . . . . 72
6.2.2 不同系统之间的比较 . . . . . . . . . . . . . . . . . . . 75
第七章 自然语言处理的未来发展方向 80
7.1 提高 ChatGPT 的能力 . . . . . . . . . . . . . . . . . . . . . . 80
7.2 加深对模型的认识 . . . . . . . . . . . . . . . . . . . . . . . . 81
7.3 实际应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
7.4 从语言到 AGI 的探索之路 . . . . . . . . . . . . . . . . . . . . 83
5
剩余94页未读,继续阅读
资源评论
- wuhao20182023-07-10#完美解决问题
fffffffyy
- 粉丝: 12
- 资源: 629
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- NetOps-py通过sftp替换网络设备启动文件
- STM32单片机FPGA毕设电路原理论文报告任务驱动教学法在单片机课程教学中的应用
- STM32单片机FPGA毕设电路原理论文报告任务驱动法在单片机教学中的应用
- STM32单片机FPGA毕设电路原理论文报告人造金刚石压机智能化压力测控系统设计
- 以某列为依据匹配多项(Excel版)
- STM32单片机FPGA毕设电路原理论文报告人体短臂离心机实验台的显示控制系统
- STM32单片机FPGA毕设电路原理论文报告人工气候室监控系统的环境控制器研究
- STM32单片机FPGA毕设电路原理论文报告染整自动线张力控制系统的设计
- 数据挖掘与机器学习-实验
- 基于Linux系统Nginx的动态网站的LNMP环境源码包
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功