没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
计算机行业专题研究:ChatGPT 服务器,深度拆解
AI 服务器:ChatGPT 训练热潮有望带动 AI 服务器需求
ChatGPT:大模型+Transformer 架构,带动并行计算需求
大厂布局 ChatGPT 类似产品,或将带来底层算力需求。ChatGPT
发布之后,引发了全球 范围的关注和讨论,国内各大厂商相继宣
布 GPT 模型开发计划。据各公司官网,2023 年 2 月 7 日,百
度宣布将推出 ChatGPT 类似产品“文心一言”,预计今年 3 月
展开内测;2 月 8 日阿里宣布阿里版 ChatGPT 正在研发中,目
前处于内测阶段;2 月 9 日,字节跳动旗下 AI Lab 宣布正在开
展 ChatGPT 和 AIGC 相关研发,未来将为 PICO 提供技术支持;
2 月 10 日,京东旗下言犀人工智能平台推出产业版 ChatGPT—
“ ChatJD”。我们认为,随着国内 互联网厂商陆续开展
ChatGPT 类似产品研发,GPT 大模型训练热潮或将带来底层算力
需 求快速释放。
AI 模型对算力的需求主要体现在训练和推理两个层面。当前主流
的人工智能算法通常可分 为“训练”和“推理”两个阶段。据 IDC
数据,2021 年中国人工智能服务器工作负载中, 57.6%的负载用
于推理,42.4%用于模型训练。据 IDC 预计,到 2026 年 AI 推
理的负载比 例将进一步提升至 62.2%。
具体来看:1)训练阶段:基于充裕的数据来调整和优化人工智能
模型的参数,使模型的准确度达到预 期。对于图像识别、语音识
别与自然语言处理等领域的复杂问题,为了获得更准确的人工 智
能模型,训练阶段常常需要处理大量数据集、做反复的迭代计算,
耗费巨大的运算量。2)推理阶段:训练阶段结束以后,人工智能
模型已经建立完毕,已可用于推理或预测待处 理输入数据对应的
输出(例如给定一张图片,识别该图片中的物体),此过程被称为
推理阶 段。推理阶段对单个任务的计算能力要求不如训练那么大,
但是由于训练出来的模型会多 次用于推理,因此推理运算的总计
算量也相当可观。
ChatGPT 算力需求场景包括预训练、Finetune 及日常运营。从
ChatGPT 实际应用情况来 看,从训练+推理的框架出发,我们可
以将 ChatGPT 的算力需求按场景进一步拆分为预训 练、
Finetune 及日常运营三个部分:1)预训练:主要通过大量无标注
的纯文本数据,训练 模型基础语言能力,得到类似 GPT-1/2/3
这样的基础大模型;2)Finetune:在完成预训练 的大模型基础上,
进行监督学习、强化学习、迁移学习等二次或多次训练,实现对模
型参 数量的优化调整;3)日常运营:基于用户输入信息,加载模
型参数进行推理计算,并实现 最终结果的反馈输出。
预训练阶段:单次算力需求取决于模型参数量,最高可达 3640
PFlop/s-day
ChatGPT 基于 Transformer 架构,进行语言模型预训练。GPT
模型之所以能够高效地完 成大规模参数计算,我们认为离不开
Transformer 架构的加持。拆解 Transformer 架构来看, 核心是
由编码模块和解码模块构成,而 GPT 模型只用到了解码模块。拆
解模块来看,大致 分为三层:前馈神经网络层、编码/解码自注意
力机制层(Self-Attention)、自注意力机制掩 码层,其中:1)
注意力机制层主要作用在于计算某个单词对于全部单词的权重(即
Attention), 从而能够更好地去学习所有输入之间的关系,实现
对文本内在关系的理解和更大规模的并 行计算;2)前馈神经网络
提供了对数据信息的高效存储及检索;3)掩码层在这一过程中 帮
助模型屏蔽位于计算位置右侧尚未出现的单词。因此,相较于前代
深度学习架构 RNN, Transformer 架构可以实现更大规模的并
行计算,大大提升了计算效率。
单一大模型路线下,需要完成大规模参数计算。以 GPT-3 模型为
例,随着模型朝更大体量 的方向演进,参数量从 GPT-3 Small 的
1.25 亿个增长到 GPT-3 175B 的 1746 亿个,一次 训练所需的
计算量从 2.6PFlop/s-day 增至 3640PFlop/s-day。与此同时,
在不同学习样本 (包括小样本、单一样本、零样本)条件下的模
型,随着参数量的提升均实现不同幅度的 上下文学习能力改善,
外在表现为语言准确率的提升。我们认为,随着大模型训练表现出
越来越强大的实战能力,未来或将成为 NLP 训练的主流选择。
推理阶段:预计单月运营算力需求约 7034.7 PFlop/s-day
ChatGPT 近一月访问量为 8.89 亿次。据 SimilarWeb 数据,
2023 年 1 月以来 ChatGPT 官 网日访问量持续攀升,从 1 月
初的日均千万次级别,到 1 月底日均两千万次,再到 2 月中 旬
的三千万次级别,随着软件效果的广泛传播,用户访问次数愈发频
繁。加总近一月 (2023/1/17-2023/2/17)ChatGPT 官网访问量
数据来看,可得 ChatGPT 月访问量为 8.89 亿次。
预计日常运营单月所需算力约 7034.7 PFlop/s-day。日常运营过
程中,用户交互带来的数 据处理需求同样也是一笔不小的算力开
支。据前文,近一个月(2023/1/17-2023/2/17) ChatGPT 官网
总访问量为 8.89 亿次。据 Fortune 杂志,每次用户与 ChatGPT
互动,产生 的算力云服务成本约 0.01 美元。基于此,我们测算
得 2023 年 1 月 OpenAI 为 ChatGPT 支 付的运营算力成本
约 889 万美元。此外,据 Lambda,使用训练一次 1746 亿参数
的 GPT-3 模型所需花费的算力成本超过 460 万美元;据
OpenAI,训练一次 1746 亿参数的 GPT-3 模型需要的算力约为
3640 PFlop/s-day。我们假设单位算力成本固定,测算得 ChatGPT
单 月运营所需算力约 7034.7PFlop/s-day。
剩余26页未读,继续阅读
资源评论
jane9872
- 粉丝: 108
- 资源: 7795
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功