没有合适的资源?快使用搜索试试~ 我知道了~
独立的电流神经网络(IndRNN):建立长和深的电流神经网络IndependentlyRecurrentNeuralNetwor...
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 59 浏览量
2021-06-28
23:32:47
上传
评论
收藏 936KB PDF 举报
温馨提示
试读
11页
递归神经网络(RNNs)已广泛应用于处理序列数据。然而,由于众所周知的梯度消失和爆炸问题以及难以学习的长期模式,RNN通常很难训练。长短时记忆(LSTM)和门电流单元(GRU)是为了解决这些问题而发展起来的,但是双曲正切函数和S形函数的使用会导致梯度衰减。因此,构建一个高效可训练的深层网络是一个挑战。此外,RNN层中的所有神经元都纠缠在一起,它们的行为很难解释。为了解决这些问题,本文提出了一种新的神经网络,称为独立递归神经网络(IndRNN),其中同一层的神经元相互独立,跨层连接。我们已经证明,IndRNN可以很容易地调节,以防止梯度爆炸和消失问题,同时降低网络的长期依赖性。此外,DRNN可以处理非饱和激活函数,如relu(矩形线性单元),并且仍然能够进行稳健的训练。可以堆叠多个indrnn以构建比现有rnn更深的网络。实验结果表明,所提出的IndRNN能够处理很长的序列(超过5000个时间步),可以用于构建多个扩展网络(实验中使用的21层网络),并且仍然具有很强的训练能力。与传统的RNN和LSTM相比,RNN在各种任务上都取得了更好的性能。代码可在https://github.com/Sunnydreamrain/
资源推荐
资源评论
资源评论
电动汽车控制与安全
- 粉丝: 258
- 资源: 4272
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功