没有合适的资源?快使用搜索试试~ 我知道了~
佐思汽研2024汽车AI大模型TOP10分析报告.pdf
需积分: 5 2 下载量 95 浏览量
2024-08-16
10:55:38
上传
评论
收藏 28.42MB PDF 举报
温馨提示
【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP10分析报告.pdf【佐思汽研】2024汽车AI大模型TOP
资源推荐
资源详情
资源评论
产业研究 战略规划 技术咨询
2
预训练语言模型
预训练
微
调
将模型在大规模无标注数据上进
行自监督训练得到预训练模型
将模型在下游各种自然语言处理任
务上的小规模有标注数据进行微调
得到适配模型
AI大模型就是预训练语言模型
通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型
预训练语⾔模型“预训练 + 微调”技术范式
⼤规模⽆标注
⽂本数据
模型预训练
不同特定任务
有标注训练数据
模型微调
测试数据
最终模型
从海量数据中自动学习知识
Ø Big-data Driven,模型基于大规模语料训练而成;
Ø Multi-tasks Adaptive,支持多种任务,包括自然
语言生成NLG和自然语言理解NLU类的任务;
Ø Few-shot (Zero-shot),在少甚至无标注样本的
条件下支持推理(自监督学习)。
产业研究 战略规划 技术咨询
3
大模型发展历程
众多预训练模型相继涌现,OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表,持续引领大模型时代的浪潮
Ø 2017 年,Google提出Transformer 框架在机器翻译中取得显著进步,其分布式学习和强大编码能力受到广泛关注。
Ø 2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT,显著提高了NLP 任务的性能,并展示出广泛的通用性。
AlexNet
(图灵奖得主
Hinton)
CAN
(Gioodfellow.
图灵奖得主
Bengio)
Word2Vec
(Google.
引用78550)
Attention
(图灵奖得主
Bengio)
ResNet
( MSR.
引用183222)
Transformer(
Google.
引用91332)
BERT
(Google)
GPT
(OpenAI)
GPT-2
(OpenAI)
GPT-3
(OpenAI)
Foundation
Model
(Stanford)
PaLM
(Google)
ChatGPT
(OpenAI)
ViT
(Google)
DALL E2
(OpenAI)
GPT-4V
(OpenAI)
ERNIE(百度) CPM(智源)
GLM(洁华)
2012 2013 2014 2015 2016 2017 2018 2019
2020 2022 2022 2023
跨模态模型
预训练模型 大模型
计
算
机
视
觉
自
然
语
言
处
理
认
知
感
知
来源:大模型驱动的群体智能行业白皮书
产业研究 战略规划 技术咨询
4
大模型参数规模不断增长,推动 AIGC技术升级。AIGC技术发展的背后是大模型(Foundation Models)技术的持续迭代。从 2017 年 Transformer 结构的提
出,加速了深度学习模型的参数学习能力。另一方面,GPU算力也在指数级增长。
图1:2018-2023 年模型参数规模变化图
来源:中国人工智能系列白皮书
图2:CPU与GPU算力演进比较
来源:techovedas ,国元证券
产业研究 战略规划 技术咨询
5
英伟达每2年推出一个微架构,对产品线进行升级,6 月 2 日,英伟达在 Computex 2024大会上发布了至2027年的芯片路线图,GPU迭代
周期由 2年缩短到1年,走类似英特尔的Tick-Tock 模式(一年工艺一年架构)。同时,英伟达践行“Buy More Save More”让算力成本
指数级下降。
图3:英伟达GPU架构演进图
图4:训练芯片算力成本呈下降趋势
Ø 我国高端GPU芯片进口从2019年以来就一直有被限制,只是之前主要针对的厂商是AMD,在应用场景上又以超算中心为主;
Ø 2023年10月17日,美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准,将单芯片超过300teraflops算力,以及性能密度超
过每平方毫米370 gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。
来源:浙商证券研究所、华泰证券研究所
剩余58页未读,继续阅读
资源评论
程序猿老A
- 粉丝: 4348
- 资源: 660
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- lsb-release,安装磐维数据库,安装oracle数据库等常用的依赖包
- redhat-lsb-core,安装磐维数据库,安装oracle数据库等常用的依赖包
- 丹佛丝堆垛机变频器参数配置起升、运行、货叉
- JSP学生学籍管理系统(源代码+论文+开题报告+外文翻译+答辩PPT).rar
- jsp医院病区管理系统(论文+中期检查表+任务书+综合材料).rar
- jsp研究生党建管理系统pc-毕业设计.rar
- JSP在线考试系统的设计与实现(源代码+论文).rar
- JSP在线CD销售系统(论文).rar
- jSP在线教学质量评价系统的设计与实现(源代码+论文).rar
- JSP自动排课管理系统(源代码+论文+开题报告).rar
- JSP在线学习系统设计(源代码+论文).rar
- JSP作业管理系统(源代码+论文).rar
- JSP自动排课系统(源代码+论文+开题报告).rar
- lerx2_utf8_v2_beta2_20121214.rar
- putty,linux客户端工具
- 提高Windows 11文件资源管理器显示文件夹大小功能
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功