没有合适的资源?快使用搜索试试~ 我知道了~
人工智能-ChatGPT用户破百万,关注超大规模自然语言处理预训练模型.pdf
需积分: 0 0 下载量 192 浏览量
2023-06-05
14:29:18
上传
评论
收藏 1.17MB PDF 举报
温馨提示
试读
12页
人工智能-ChatGPT用户破百万,关注超大规模自然语言处理预训练模型.pdf
资源推荐
资源详情
资源评论
本报告由中信建投证券股份有限公司在中华人民共和国(仅为本报告目的,不包括香港、澳门、台湾)提供。在遵守适用的法律法规情况下,
本报告亦可能由中信建投(国际)证券有限公司在香港提供。同时请参阅最后一页的重要声明。
证券研究报告·行业动态
ChatGPT 用户破百万,关注超大
规模自然语言处理预训练模型
产业要闻
【5 天用户破百万,ChatGPT 背后有何玄机】
行业变化
2022 年 11 月 30 日,OpenAI 发布了 ChatGPT 人机对话交互模型,
相比过去的人机对话模型,ChatGPT 展现出更贴近人类的思维逻
辑,可以回复用户的连续问题,具有一定的道德准则,减少了错
误问答的出现概率,具备代码的编写和 debug 功能。ChatGPT 在
人机对话上到达了前所未有的高度,模型开放测试一周用户便突
破了百万级别。ChatGPT 作为 GPT3.5 的微调版本,采用了基于
人类反馈的强化学习(RLHF)和近端优化策略(PPO),通过奖
励模型的设定,极大减少了无效的、编造的、有害的答案出现概
率,更多输出了人们期望的答案。当前 ChatGPT 已经在诸多问答
环节里表现出极高的拟人化,足以以假乱真。目前 ChatGPT 处于
免费的开源公测阶段,仍在优化迭代过程中。前代版本 GPT-3 已
经商业化落地,基于 GPT-3 产生的 APP 达 300 多个,覆盖传媒、
营销等领域,OpenAI 以 API 的形式向开发者提供有偿的 GPT-3
模型使用权限,按照 token(1000 tokens=750 words)使用量收费,
1000 tokens 收费在 0.0004~0.2 美元之间。我们预计,超大规模的
自然语言预处理模型将率先在传媒营销、搜索引擎增强、代码编
程等领域实现商业落地。当前自然语言处理的快速发展已让我们
更加临近图灵测试的奇点,未来人工智能将深刻地改变我们的生
产生活方式。我们应当重点关注自然语言处理的技术进展、大规
模商业的落地途径以及我国超大规模预训练模型的发展进展。
持续关注:
GPU:英伟达、超威半导体、海光信息等;
FPGA:安路科技-U 等;
SoC:高通、全志科技等;
自然语言处理:科大讯飞等;
计算机视觉:云从科技-UW、商汤-W、格灵深瞳-U 等;
自动驾驶:德赛西威、中科创达、均胜电子、光庭信息;
智慧交通:千方科技、万集科技;
AI+工业:中控技术、华大九天、广立微、概伦电子等。
风险提示:北美经济衰退预期逐步增强,宏观环境存在较大
的不确定性,国际环境变化影响供应链及海外拓展;芯片紧缺
可能影响相关公司的正常生产和交付,公司出货不及预期。
维持
强于大市
于芳博
yufangbo@csc.com.cn
010-86451607
SAC 执证编号:S1440522030001
发布日期: 2022 年 12 月 11 日
市场表现
相关研究报告
-35%
-25%
-15%
-5%
5%
15%
2021/12/10
2022/1/10
2022/2/10
2022/3/10
2022/4/10
2022/5/10
2022/6/10
2022/7/10
2022/8/10
2022/9/10
2022/10/10
2022/11/10
计算机 上证指数
人工智能
1
人工智能
行业动态报告
请参阅最后一页的重要声明
一、行业变化
2022 年 11 月 30 日,OpenAI 发布了 ChatGPT 人机对话交互模型,相比过去的人机对话模型,ChatGPT 展
现出更贴近人类的思维逻辑,可以回复用户的连续问题,具有一定的道德准则,减少了错误问答的出现概率,
具备代码的编写和 debug 功能。ChatGPT 在人机对话上到达了前所未有的高度,模型开放测试一周用户便突破
了百万级别。
OpenAI 是 2015 年成立的一家人工智能公司,提出过很多里程碑式的人工智能模型,包括性能强大的自然
语言预处理模型 GPT-3,用于图像生成的模型 DALL-E 2,击败 Dota 2 电竞职业选手的 OpenAI Five。此次发布
的 ChatGPT 是 GPT3.5 的微调版本,在过去的 GPT 模型基础之上增加了 3H 目标,其中包括:Helpful:帮助用
户实现任务目标,Honest:不会编造信息误导用户,Harmless:不会对用户造成心理、生理、社交方面的损害。
过去的 GPT 模型采用了掩码策略去训练模型,会根据特定的上文内容生成不同概率的后续文本,由于采用纯无
监督学习方式,可能呈现诸多无效的、编造的、有害的答案。ChatGPT 通过基于人类反馈的强化学习方式(RLHF)
和近端优化策略(PPO)很好的减少了相应情况的发生。
图表1: 基于人类反馈的强化学习在 ChatGPT 中的应用
资料来源:
OpenAI
,中信建投
ChatGPT 主要通过三个步骤来实现基于人类反馈的强化学习:
1. 人工标注员提供一个人工编写的演示数据集,在 ChatGPT 的兄弟版本 InstructGPT 中,采用了 40 位人
工标注员挑选的 13000 个问答组成数据集,通过数据集去微调 GPT-3.5 语言模型。
2. 人工标注员对模型输出的候选答案进行优劣排序同时给予不同的奖励值,将所有的问答训练得到一个
奖励模型,对于特定的答案会有对应的奖励值输出。
3. 通过近端优化策略去持续更新策略参数,使其符合最大化的奖励模型。
2
人工智能
行业动态报告
请参阅最后一页的重要声明
训练过程中,3H 目标也以一定的奖励比重影响到最后的结果呈现,经过基于人类反馈的强化学习,ChatGPT
很好的呈现了人们期望的答案,但是也应当注意,人工标注员因为具备不同的文化、背景、信仰,标签可能存
在一定的偏见。
我们认为,当前自然语言处理的快速发展已让我们更加临近图灵测试的奇点,我们应当重点关注自然语言
处理的技术进展、大规模商业的落地途径以及我国超大规模预训练模型的发展进展。
当前 ChatGPT 已经在诸多问答环节里表现出极高的拟人化,足以以假乱真。预期 GPT-4 将于明年发布,
根据 OpenAI 首席执行官萨姆·阿尔特曼表示,GPT-4 将是纯文本模型,规模略大于 GPT-3,更专注于数据、
算法、参数的优化。我们更加临近人工智能通过图灵测试这一历史时刻,未来人工智能将深刻地改变我们
的生产生活方式。
目前 ChatGPT 处于免费的开源公测阶段,仍在优化迭代过程中。前代版本 GPT-3 已经商业化落地,基
于 GPT-3 产生的 APP 达 300 多个,覆盖传媒、营销等领域,OpenAI 以 API 的形式向开发者提供有偿的 GPT-3
模型使用权限,按照 token(1000 tokens=750 words)使用量收费,1000 tokens 收费在 0.0004~0.2 美元之
间。我们预计,超大规模的自然语言预处理模型将率先在传媒营销、搜索引擎增强、代码编程等领域实现
商业落地。
图表2: 超大规模的自然语言预处理模型发展历史
资料来源:
State of AI Report 2022
,中信建投
预训练模型需要大量数据支持,中文语料库仍有所匮乏,建议关注部分中文自然语言处理的预训练模
型。预训练模型通过大规模文本库进行高算力的预先训练,得到通用的语言模型和表现形式,再经过特定
应用环境对预训练模型进行微调,从而在各种下游应用领域得到目标任务的快速收敛和准确率提升。大规
模的文本库来源与最后的训练结果密切相关,包括 chatGPT 在内的预训练模型因为中文语料库的匮乏,中
文的语言处理有时表现不尽如人意。建议重点关注部分中文自然语言处理的预训练模型,包括华为的盘古
大模型、浪潮的源 1.0、百度的文心大模型、清华大学的双语预训练模型 GLM 等。
GPT-3
(1 75B )
Pan-Gu (200B)
HyperC LO VA (204B )
Ju rassic-1 Jum bo (204B)
FLAN (137B)
Ju ne 2020
May 2021
Megatron
Turing-NLG (137B)
Yuan 1.0 (246B)
Sep 2021
Gopher (280B )
Ernie 3.0 Titan (260B)
LaMDA (280B)
Ja n 2022
GPT-j (6B)
GPT-NeoX (20B)
Aug 2021
PaLM (540B )
OPT (175B)
BLO O M (176B )
GLM (130B)
May 2022
Aug 2022
Chinchilla
(7 0B)
ch atG PT
Nov 2022
剩余11页未读,继续阅读
资源评论
程序猿徐师兄
- 粉丝: 533
- 资源: 2288
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功