ma !
!
local minima在另⼀个维度上看会不会是⼀个saddle point呢? !
是在经过 empirical study 后能验证这个假说:!
条件:训练⽹络,直到它到达critical point!
minimum ratio = 正的特征值的数量 / 特征值的数量 ,正特征值越多,越像local minima!
由图可得,minimum ratio 最⾼也只有0.5,说明特征值仍然有正有负。!
!
总结:⼤部分⽹络训练都是saddle point!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!