零基础入门深度学习(6) - 长短时记忆网络(LSTM)1

【长短时记忆网络(LSTM)】是深度学习中一种特殊的循环神经网络（RNN）变体，设计用于解决传统RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。LSTM通过引入“门”机制，使得网络能够有效地记住长期依赖信息，从而在诸如语音识别、图像描述、自然语言处理等领域表现出色。 在LSTM中，每个时间步的计算包含三个主要的门：输入门、遗忘门和输出门，以及一个单元状态（cell state）c_t。这些门的作用是控制信息的流动，决定哪些信息应该被添加到单元状态，哪些应该被遗忘，以及如何将单元状态转化为输出。 1. 输入门（Input Gate）：决定新信息流入单元状态的量。输入门由两个部分组成，一个是sigmoid激活函数的输出，称为i_t，它控制新信息的流入程度；另一个是tanh激活函数的输出，它提供可能要加入的新信息。 2. 遗忘门（Forget Gate）：决定单元状态中旧信息的保留程度。遗忘门同样由sigmoid激活函数控制，输出f_t，它在0到1之间，表示对旧单元状态c_{t-1}的遗忘因子。 3. 单元状态（Cell State）：c_t是LSTM的核心，存储长期信息。在每个时间步，新的信息会通过输入门流入，旧的信息可能会通过遗忘门被遗忘，然后这两者与上一时刻的单元状态相组合，形成新的单元状态。 4. 输出门（Output Gate）：决定单元状态如何影响当前时间步的隐藏状态h_t。它也由sigmoid激活函数控制，输出o_t，用来调整单元状态c_t对隐藏状态的贡献。 前向计算过程大致如下： 1. 计算输入门i_t、遗忘门f_t和输出门o_t的值。 2. 使用遗忘门更新单元状态c_t：c_t = f_t * c_{t-1} + i_t * tanh(W_x * x_t + W_h * h_{t-1} + b) 其中，W_x、W_h和b是权重，x_t是当前时间步的输入，h_{t-1}是上一时间步的隐藏状态。 3. 计算隐藏状态h_t：h_t = o_t * tanh(c_t) 反向传播过程中，计算每个神经元的误差项，并根据这些误差项来更新权重。LSTM的反向传播算法更复杂，因为它涉及到每个门的链式规则应用，需要计算各个门的梯度，然后将这些梯度用于更新输入门、遗忘门、输出门和单元状态相关的权重。 LSTM通过门控机制有效地解决了RNN中的长期依赖问题，使得网络能够学习到长期的上下文信息，这对于处理序列数据的任务至关重要。由于其强大的记忆能力，LSTM在许多领域取得了突破性的进展，而其复杂性也使得理解并实现LSTM成为深度学习学习者的重要课题。