Deep learning via Hessian-free optimization

所需积分/C币:26 2013-11-22 15:02:52 137KB PDF
收藏 收藏
举报

Martens 提出的改进的Hessian Free 优化方法,相比传统BP使用范围更广,现在在RNN的训练中效果很好
ge(p) N×N B 1,2 B f(0)p Bn(d)=(0nd+Ad 9e(r) (Bn,-9n) d hd n+1 pr Vf(0+ed)-vf(a Hd= li (P) B n Bd ge(p) 小jk d d-Vfd=(Vf);-(Vf)z≈0 dHd=(Hz-H2)+(H1-H/z)≈0+0=0 Hd ge(p) d. ad fdi/d Ac Hd Gd Hd H G 2 B Bd 入 2 q6 f(6+p)-f() (p)-qe(0) Bd 1A. 2-b q0(D) IBp+Vf(e)I B 1-A -bll Ax-b (x) B k p(ai) k>1 Bd (10,0.1) Bd ∈-0.0005 qep ge(p) IBp+vf(el min(2,Vf(6川E川Vf(6)川2 ∫(6+ Ar= b 4 Ax-b Bb=-Vf(e o(x)‖Ax-b2 B n-1 B Vf(e C O() 1- AC--(C-b)a p M=di∑f()l⊙Vf(O)+ 0(n-1)>0 G G gep f(6+p) qe B f(a+p H Gd Fd F F G D D F Vf(On)+B B Bd l2 10 4 10-2

...展开详情
试读 8P Deep learning via Hessian-free optimization
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    一个资源只可评论一次,评论内容不能少于5个字
    buzy 挺好的资源
    2016-10-18
    回复
    浩三儿 学习了 很实用
    2015-03-09
    回复
    关注 私信 TA的资源
    上传资源赚积分,得勋章
    最新推荐
    Deep learning via Hessian-free optimization 26积分/C币 立即下载
    1/8
    Deep learning via Hessian-free optimization第1页
    Deep learning via Hessian-free optimization第2页
    Deep learning via Hessian-free optimization第3页

    试读已结束,剩余5页未读...

    26积分/C币 立即下载 >