1
Tensorflow 笔记：第四讲
神经网络优化
4.1
√神经元模型：用数学公式表示为：
，f 为激活函数。神经网络是以神经元为基本单
元构成的。
√激活函数：引入非线性激活因素，提高模型的表达力。
常用的激活函数有 relu、sigmoid、tanh 等。
① 激活函数 relu: 在 Tensorflow 中，用 tf.nn.relu()表示
relu()数学表达式 relu()数学图形
② 激活函数 sigmoid：在 Tensorflow 中，用 tf.nn.sigmoid()表示
sigmoid ()数学表达式 sigmoid()数学图形
③ 激活函数 tanh：在 Tensorflow 中，用 tf.nn.tanh()表示
tanh()数学表达式 tanh()数学图形
√神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示
√神经网路的层数：一般不计入输入层，层数 = n 个隐藏层 + 1 个输出层
