1.为什么引入非线性激励函数？
2.为什么引入relu
3.什么是好的激活函数？
1.为什么引入非线性激励函数？
如果不用激励函数，在这种情况下每一层输出都是上层输入的线性函数，很容易验证，
无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是
最原始的感知机（perception）了。
所以我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输
入的线性组合，可以逼近任意函数）。最早的想法是sigmoid或者tanh函数，输出有界，很
容易充当下一层输入
2.为什么引入relu
评论0