大语言模型变迁史笔记总结
178 浏览量
2024-02-10
17:32:36
上传
评论
收藏 4.52MB PDF 举报
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
word
embedding
单词
特征
提取
f
one
hot
repre se n t a ti o n
1
缺点
⽆法
处理
多义词
的
问题
distribution
repre se n t a ti o n
egü
𡓨
⾼
吉
㸑
窹
盛
葭
䲜
㶕
有关
想
熱
的
息
量
根据
中间
词
预测
上下⽂
在
化
i
皇
品
8
点
鬬
䨻
⼼
䨻
䲜
䲜
䨻
䨇
品
坚
⽽
⾮
trans
tom
伪
双向
⽅法
Feature
based
Pre
Train
g
特征
融合
给
下游
提供
的
⻣
簿
征
单
彦
住
𠠬
箸
在
梯度
消失
的
问
是
意
㸑
㢡
⾏
处理
训练
慢
优化
LSTMIGRV
优
筷
点
丢
篺
3
点
简
的
时序
优势
U
ㄥ
Transformer
架构
同时
保证
并⾏
和
时序
GPT
⽣成
式
②
语⾔
模型
单向
Transformer
结构
不
能
⽤
双向
⾮
独⽴
结构
去
预测
单词
会
See
itself
0
⽤
的
Transformer
masked
self
attention
每个
位置
看
不
到
后⾯
的
词
但是
是
单向
语⾔
模型
预
训练
资源评论
