没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
34页
【课程简介】 本课程适合所有需要学习自然语言处理技术的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:https://download.csdn.net/download/qq_27595745/85228275 【全部课程列表】 第01课_自然语言处理概论 共53页.pptx 第02课_语言模型 共69页.pptx 第03课_神经序列模型 I 共56页.pptx 第04课_神经序列模型 II 共34页.pptx 第05课_神经序列模型 III 共49页.pptx 第06课_神经序列模型 IV 共39页.pptx 第07课_神经序列模型 V 共34页.pptx 第08课_神经序列模型 VI 共41页.pptx 第09课_FSM 自动机 共34页.pptx 第10课_HMM CRF 共37页.pptx
资源推荐
资源详情
资源评论
互联网新技术在线教育领航者
神经序列模型
II
提纲
3
互联网新技术在线教育领航者
续:代码讲解
Vanilla RNN
LSTM
RNNLM
应用展示
续:代码讲解
input embedding
a:0
linear transform
Tanh
output embedding
softmax
cross-entropy
h1
h2
h3
h4
h5
b:0
4
互联网新技术在线教育领航者
loss
djdh4
djdh3
djdh2
djdh1
djd_output_embed
djd_output_embed_b
djd_linear_w djd_linear_b
djd_input_embed
续:代码讲解
𝑦 = 𝑓 𝑥, 𝜃
𝜕𝐽
=
𝜕𝐽 𝜕𝑦
𝜕𝑥 𝜕𝑦 𝜕𝑥
𝜕𝐽
=
𝜕𝐽 𝜕𝑦
𝜕𝜃 𝜕𝑦
𝜕𝜃
𝑦 = 𝑥𝑊 + 𝑏
𝜕𝐽
=
𝜕𝐽
𝑊
𝑇
𝜕𝑥 𝜕𝑦
𝜕 𝐽
= 𝑥
𝑇
𝜕 𝐽
;
𝜕 𝐽
=
𝜕 𝐽
𝜕𝑊 𝜕 𝑦 𝜕 𝑏 𝜕 𝑦
𝑦 = 𝜎(𝑥)
𝜕𝑦
= 𝑦(1 − 𝑦)
𝜕𝑥
n/a
𝑦 = 𝑡𝑎𝑛ℎ(𝑥)
𝜕𝑦
= 1 − 𝑦
2
𝜕𝑥
n/a
𝑦 = 𝑅𝑒𝐿𝑈(𝑥)
𝜕𝑦
= 1 𝑖𝑓 𝑥 > 0; 0 𝑖𝑓 𝑥 <
0
𝜕𝑥
n/a
𝑦 = eb𝑙 𝑥
n/a
𝜕𝐽
=
𝜕𝐽
𝜕𝑊[𝑥, : ]
𝜕𝑦
𝑦 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑥
𝐽 = 𝐶𝐸 𝑦, 𝑗
𝜕 𝐽
= 𝑦
𝑖
− 1, 𝑖𝑓 𝑖 = 𝑗; 𝑦
𝑖
,
𝑖𝑓 𝑖 ≠ 𝑗
𝜕 𝑥
𝑖
n/a
5
互联网新技术在线教育领航者
续:代码讲解
6
互联网新技术在线教育领航者
转到 github
Forward
Backward
Weight Update
剩余33页未读,继续阅读
资源评论
passionSnail
- 粉丝: 408
- 资源: 5624
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功