循环神经网络 LSTM 的数学过程
引言
长短时记忆(long short term memory,LSTM)是一种有效的链式循环神经网
络(recurrent neural network,R2 NN1),被广泛用于语言模型、机器翻译、
语音识别等领域。[1]本文具体就 LSTM 的具体实现做出推导。
01LSTM 模型描述
因为传统的 RNN 在间隔不断增大的同时，会丧失学习到连接如此远的信息的能
力。这个问题简称长期依赖问题，为了解决这个问题，LSTM 通过刻意的设计
来避免长期依赖问题。以下就是 LSTM 的结构图：
评论0