没有合适的资源?快使用搜索试试~ 我知道了~
一、大模型概述 二、中国大模型发展挑战 三、大模型测评 测评平台:方法论、评估维度 IDC 测试:基础能力、应用能力 通用大模型:Qwen-Max-0428 等 四、2024 年大模型发展趋势 技术方向:模型整合、参数规模扩展、多模态融合、小型化 产业方向:国产 AI 芯片、数据产权标准、套壳微调、人工智能伦理 五、大模型知识密度 知识密度提升:MMLU 榜单表现 小参数模型:MiniCPM-Llama3-V 2.5 六、大模型产业应用案例 百度文心一言:发展历程、技术架构、应用场景 华为盘古大模型:CloudMatrix 架构、ModelArts AI 开发生产线 科大讯飞星火大模型:语音交互、智能座舱、机器人超脑 商汤日日新大模型:SenseChat V5、SenseNova 5.0、车载端侧部署 腾讯混元大模型:研发历程、技术优势、行业应用 特斯拉 FSD:端到端自动驾驶、数据驱动 小鹏汽车 XGPT:自动驾驶大模型、AI 天玑系统 毫末智行 DriveGPT:雪湖·海若、多模态感知、语义感知 思必驰 DFM-2:统一生成式对话基础模型、DUI 2.0 面壁智能 MiniCPM
资源推荐
资源详情
资源评论
产业研究 战略规划 技术咨询
2
预训练语言模型
预训练
微
调
将模型在大规模无标注数据上进
行自监督训练得到预训练模型
将模型在下游各种自然语言处理任
务上的小规模有标注数据进行微调
得到适配模型
AI大模型就是预训练语言模型
通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型
预训练语⾔模型“预训练 + 微调”技术范式
⼤规模⽆标注
⽂本数据
模型预训练
不同特定任务
有标注训练数据
模型微调
测试数据
最终模型
从海量数据中自动学习知识
Ø Big-data Driven,模型基于大规模语料训练而成;
Ø Multi-tasks Adaptive,支持多种任务,包括自然
语言生成NLG和自然语言理解NLU类的任务;
Ø Few-shot (Zero-shot),在少甚至无标注样本的
条件下支持推理(自监督学习)。
产业研究 战略规划 技术咨询
3
大模型发展历程
众多预训练模型相继涌现,OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表,持续引领大模型时代的浪潮
Ø 2017 年,Google提出Transformer 框架在机器翻译中取得显著进步,其分布式学习和强大编码能力受到广泛关注。
Ø 2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT,显著提高了NLP 任务的性能,并展示出广泛的通用性。
AlexNet
(图灵奖得主
Hinton)
CAN
(Gioodfellow.
图灵奖得主
Bengio)
Word2Vec
(Google.
引用78550)
Attention
(图灵奖得主
Bengio)
ResNet
( MSR.
引用183222)
Transformer(
Google.
引用91332)
BERT
(Google)
GPT
(OpenAI)
GPT-2
(OpenAI)
GPT-3
(OpenAI)
Foundation
Model
(Stanford)
PaLM
(Google)
ChatGPT
(OpenAI)
ViT
(Google)
DALL E2
(OpenAI)
GPT-4V
(OpenAI)
ERNIE(百度) CPM(智源)
GLM(洁华)
2012 2013 2014 2015 2016 2017 2018 2019
2020 2022 2022 2023
跨模态模型
预训练模型 大模型
计
算
机
视
觉
自
然
语
言
处
理
认
知
感
知
来源:大模型驱动的群体智能行业白皮书
产业研究 战略规划 技术咨询
4
大模型参数规模不断增长,推动 AIGC技术升级。AIGC技术发展的背后是大模型(Foundation Models)技术的持续迭代。从 2017 年 Transformer 结构的提
出,加速了深度学习模型的参数学习能力。另一方面,GPU算力也在指数级增长。
图1:2018-2023 年模型参数规模变化图
来源:中国人工智能系列白皮书
图2:CPU与GPU算力演进比较
来源:techovedas ,国元证券
产业研究 战略规划 技术咨询
5
英伟达每2年推出一个微架构,对产品线进行升级,6 月 2 日,英伟达在 Computex 2024大会上发布了至2027年的芯片路线图,GPU迭代
周期由 2年缩短到1年,走类似英特尔的Tick-Tock 模式(一年工艺一年架构)。同时,英伟达践行“Buy More Save More”让算力成本
指数级下降。
图3:英伟达GPU架构演进图
图4:训练芯片算力成本呈下降趋势
Ø 我国高端GPU芯片进口从2019年以来就一直有被限制,只是之前主要针对的厂商是AMD,在应用场景上又以超算中心为主;
Ø 2023年10月17日,美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准,将单芯片超过300teraflops算力,以及性能密度超
过每平方毫米370 gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。
来源:浙商证券研究所、华泰证券研究所
剩余58页未读,继续阅读
资源评论
robinfang2019
- 粉丝: 3000
- 资源: 273
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功