一、初识 RNN(Recurrent Neural Networks)和
LSTM(Long Short-Term Memory Network)
模块 A 的循环结构使得信息从网络的上一步传到了下一步，因此 RNN 可
以被认为是相同网络的多重复制结构，每一个网络把消息传给其继承者。遇到
处理当前任务仅需要查看当前信息，目标预测的点与其相关信息的点之间的间
隔较小时，RNNs 可以学习利用过去的信息；而当需要预测的点与其相关点之
间的间隔变得很大时，由于随着间隔增长，RNNs 变得难以学习连接之间的关
系。长短时间记忆网络 LSTM 是一种特殊的 RNN，它能够学习长时间依赖。记
忆长期信息是 LSTMs 的默认行为，专门设计用来避免长期依赖问题。
LSTMs 核心思想
LSTMs 的关键在于单元（cell）状态，它就像一个传送带，顺着整个链条
从头到尾运行，中间只有少许线性的交互。信息很容易顺着它流动而保持不变
（可以当作是主线）。
评论0