【免费】RNN、LSTM及其变种1_LSTM变种资源-CSDN文库

需积分: 0 49 浏览量 2022-08-03 13:12:31 上传评论收藏 1.78MB PDF 举报

资源详情

资源评论

资源推荐

经典RNN结构图

RNN、LSTM及其变种

Li Junli 李军利 / June 2nd 2019



1. RNN

循环神经网络（RNN: Recurrent Neural Network）源自于1982年由 Saratha Sathasivam提出的霍普菲尔德网络。

霍普菲尔德网络由于实现困难，在其提出时并没有被合适地应用。该网络结构也于1986年后被全连接神经网络以及

一些传统的机器学习算法（ML: Machine Learning）所取代。然而，传统的ML算法非常依赖人工提取的特征，使得

基于传统ML算法的图像识别、语音识别以及自然语言处理等问题存在特征提取的瓶颈。而基于全连接神经网络也存

在参数太多、无法利用数据中时间序列信息等问题。随着更加有效的 RNN 结构被提出，RNN挖掘时序信息以及语义

信息的深度表达能力被充分利用，并在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破。

RNN的主要用途是处理和预测序列数据。百度百科对时间序列的解释是：时间序列数据是指在不同时间点上收集到的

数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。当然除了时间序列还有文字序列等，但总归序列

数据有一个特点——后面的数据跟前面的数据有关系。

全连接网络或CNN的层与层之间是全连接或者部分连接的，但是每层之间的神经元是没有连接的（即假设各个数据之

间是独立的）。这种结构不善于处理序列化的问题。比如要预测句子中的下一个单词是什么，这往往与前面的单词有

很大的关联，因为句子里面的单词并不是独立的。比如当前word是“很”，前一个word是“天空”，那么下一个word很

大概率是“蓝”。

从网络结构来看，RNN会记忆之前的信息，并利用之前的信息影响后面结点的输出。也就是说，RNN的隐藏层之间

的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括该隐藏层上一时刻的输出。



1.1 经典RNN结构

RNN有很多变种，首先介绍经典的RNN模型结构

剩余14页未读，继续阅读

评论0

内容反馈

色空空色

粉丝: 53
资源: 331

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip