机器学习与深度学习面试系列十四（RNN）1
需积分: 0 127 浏览量
2022-08-03
18:24:38
上传
评论
收藏 901KB PDF 举报
机
器
学
习
与
深
度
学
习
⾯
试
系
列
⼗
四
（
RNN
）
循
环
神
经⽹络
(
RNN
)
⽤
来
解
决
什么
问题
？
循
环
神
经⽹络
(
R
ec
urr
e
nt
N
e
ur
al
N
e
twor
k
，
RNN
)
是
⽤
来
建
模
序
列化
数据
的
⼀
种
主
流深
度
学
习
模
型
。
传
统
⽂
本
处
理
任
务
的
⽅
法
中
⼀
般
将
TF
-
IDF
向
量
作为
特
征
输
⼊
，
显
然
这
样
的
表
示
实
际
上丢
失
了
输
⼊
的
⽂
本
序
列
中
每
个
单
词
的
顺
序
。
在
神
经⽹络
的
建
模
过
程
中
，⼀
般
的
前
馈
神
经⽹络
，
如
卷
积神
经⽹
络
，
通
常
接
受
⼀个
定
⻓
的
向
量
作为
输
⼊
，
⽆
法
处
理
变
⻓
的
序
列
信
息
，
即
使
通过
滑
动
窗
⼝
加
池
化
的
⽅
式
将
原
先
的
输
⼊
转
换
成
⼀个
固
定
⻓
度
的
向
量
表
示
，
这
样
做
可
以
捕捉
到
原
⽂
本
中
的
⼀
些
局
部
特
征
，
但
是
两个
单
词
之
间
的
⻓
距
离
依
赖
关
系
还
是
很
难
被
学
习
到
。
RNN
则
通过
将
神
经
元
串
⾏
起
来
处
理
序
列化
的
数据
。
由
于
每
个
神
经
元
能
⽤
它
的
内
部
变
量
保
存
之
前
输
⼊
的
序
列
信
息
，
因
此
整
个
序
列
被
浓
缩
成抽
象
的
表
示
，
并
可
以
据
此
进
⾏
分
类
或
⽣
成
新
的
序
列
。
RNN
中
反向
传
播
（
BPTT
）
是
怎
样
的
？
为什么
存
在
梯
度
消
失
问题
？
BPTT
算
法
将
循
环
神
经⽹络
看
作
是
⼀个
展
开
的
多
层
前
馈
⽹络
，
其
中
“
每
⼀
层
”
对
应循
环
⽹络
中
的
“
每
个
时
刻
”
，
如
上
图
所
示
。
对
于
t
时
刻
，
记
为
t
时
刻
的
损
失
函
数
，
和
分别
为
t
时
刻
隐
藏
节
点
的
输
⼊
值
和
输
出
值
，
则
：
，
其
中
为
激
活
函
数
，
，
也
就
是
说
t
时
刻
隐
藏
节
点
的
输
⼊
是
由
t
-1
时
刻
隐
藏
节
点
的
输
出
和
t
时
刻
的
新
输
⼊
线
性
组
合
得
到
，
我
们
要
学
习
的
参
数
就
是
和
。
上
图
只
是
我
们
按
照
时
间
维
度
将
神
经⽹络
展
开
的
⼀
种
形
象
化
描
述
，
实
际
上
在
神
经⽹络
在
每
个
时
刻
的
参
数
都
是
⼀
样
的
，
即
和
是
共
享
的
。
这
样
，
循
环
神
经⽹络
就
可
以
按
照
前
馈
⽹络
中
的
反向
传
播
算
法
计
算
参
数
梯
度
。
在
“
展
开
”
的
前
馈
⽹络
中
，
所
有
层
的
参
数
是
共
享
的
，
因
此
参
数
的真
实
梯
度
是
所
有
“
展
开
层
”
的
参
数
梯
度
之
和
。
评论0