没有合适的资源?快使用搜索试试~ 我知道了~
2023年ChatGPT半导体行业研究报告.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 1 下载量 73 浏览量
2023-04-26
00:28:24
上传
评论
收藏 2.87MB DOCX 举报
温馨提示
试读
13页
2023年ChatGPT半导体行业研究报告.docx
资源推荐
资源详情
资源评论
2023 年 ChatGPT 半导体行业研究报告
2017 年谷歌推出一种用于自然语言理解的新型神经网络架构——Transformers 模
型,不但能生成质量上乘的语言模型,同时具有更高的可 并行性,大大降低了
所需的训练时间。这些小样本学习模型,可以更容易地针对特定领域做定制修改。
2018 年以来,国内外超大规模预训练模型参数指标不断创出新高,“大模型”已
成为行业巨头发力的一个方向。谷歌、百度、微软等国内外科技巨头纷纷投入大
量人 力、财力,相继推出各自的巨量模型。国外厂商自 2021 年开始进入“军备
竞赛”阶段。
2018 年,谷歌提出 3 亿参数 BERT 模型,大规模预训练模型开始逐渐走进人们的
视野,成为人工智能领域的一大焦点。
2019 年,OpenAI 推出 15 亿参数的 GPT-2,能够生成连贯的文本段落,做到初步
的阅读理解、机器翻译等。紧接着,英伟达推出 83 亿参数的 Megatron-LM,谷
歌推 出 110 亿参数的 T5,微软推出 170 亿参数的图灵 Turing-NLG。
2020 年,OpenAI 以 1750 亿参数的 GPT-3,直接将参数规模提高到千亿级别。
2021 年 1 月,谷歌推出的 Switch Transformer 模型以高达 1.6 万亿的参数量打破
了 GPT-3 作为最大 AI 模型的统治地位,成为史上首个万亿级语言模型。2020 年
10 月, 微软和英伟达联手发布了 5300 亿参数的 Megatron-Turing 自然语言生成
模型(MT-NLG)。2021 年 12 月,谷歌还提出了 1.2 万亿参数的通用稀疏语言模
型 GLaM,在 7 项小样本学习领域的性能超过 GPT-3。
ChatGPT 背后的公司为 OpenAI,成立于 2015 年,由特斯拉 CEO 埃隆·马斯克、PayPal
联合创始人彼得·蒂尔、Linkedin 创始人里德·霍夫曼、创业孵化器 Y Combinator
总裁阿尔特曼(Sam Altman)等人出资 10 亿美元创立。
OpenAI 的诞生旨在开发通用人工智能(AGI)并造福人类。
ChatGPT 中的 GPT(Generative Pre-trained Transformer),是 OpenAI 推出的深度
学习模型。ChatGPT 就是基于 GPT-3.5 版本的聊天机器人。
截至 2022 年 12 月 4 日,OpenAI 估计 ChatGPT 用户已经超过 100 万;2023 年 1
月,ChatGPT 用户超过 1 亿,成为迄今增长最快的消费应用程序。
2023 年 2 月,OpenAI 开始接受美国客户注册一项名为 ChatGPT Plus 的高级服务,
每月收费 20 美元;此外,OpenAI 正计划推出一个每月 42 美元的 ChatGPT 专业
计划,当需求较低时可以免费使用。
OpenAI 预计人工智能科学研究要想取得突破,所需要消耗的计算资源每 3~4 个
月就要翻一倍,资金也需要通过指数级增长获得匹配。
在算力方面,GPT-3.5 在微软 Azure AI 超算基础设施(由 V100GPU 组成的高带宽
集群)上进行训练,总算力消耗约 3640PF-days(即每 秒一千万亿次计算,运
行 3640 天)。
在大数据方面,GPT-2 用于训练的数据取自于 Reddit 上高赞的文章,数据集共有
约 800 万篇文章,累计体积约 40G;GPT-3 模型的神经网 络是在超过 45TB 的文
本上进行训练的,数据相当于整个维基百科英文版的 160 倍。
按照量子位给出的数据,将一个大型语言模型(LLM)训练到 GPT-3 级的成本高
达 460 万美元。
最新的 GPT3.5 在训练中使用了微软专门建设的 AI 计算系统,由 1 万个英伟达
V100 GPU 组成的高性能网络集群,总算力消耗约 3640PFdays(PD),即假如每
秒计算一千万亿(1020)次,需要计算 3640 天。
采购一片英伟达顶级 GPU 成本为 8 万元,GPU 服务器成本通常超过 40 万元。对
于 ChatGPT 而言,支撑其算力基础设施至少需要上万颗英伟达 GPUA100,一次
模型训练成本超过 1200 万美元。
剩余12页未读,继续阅读
资源评论
- 106第一懒虫2023-06-08资源简直太好了,完美解决了当下遇到的难题,这样的资源很难不支持~
jane9872
- 粉丝: 93
- 资源: 7752
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功