1
Tensorflow 笔记:第四讲
神经网络优化
4.1
√神经元模型:用数学公式表示为:
,f 为激活函数。神经网络是以神经元为基本单
元构成的。
√激活函数:引入非线性激活因素,提高模型的表达力。
常用的激活函数有 relu、sigmoid、tanh 等。
① 激活函数 relu: 在 Tensorflow 中,用 tf.nn.relu()表示
relu()数学表达式 relu()数学图形
② 激活函数 sigmoid:在 Tensorflow 中,用 tf.nn.sigmoid()表示
sigmoid ()数学表达式 sigmoid()数学图形
③ 激活函数 tanh:在 Tensorflow 中,用 tf.nn.tanh()表示
tanh()数学表达式 tanh()数学图形
√神经网络的复杂度:可用神经网络的层数和神经网络中待优化参数个数表示
√神经网路的层数:一般不计入输入层,层数 = n 个隐藏层 + 1 个输出层