北京大学-曹建-人工智能实践TensorFlow课件和代码）

1

Tensorflow 笔记：第四讲

神经网络优化

4.1

√神经元模型：用数学公式表示为：󰇛





② 激活函数 sigmoid：在 Tensorflow 中，用 tf.nn.sigmoid()表示

③ 激活函数 tanh：在 Tensorflow 中，用 tf.nn.tanh()表示

√神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示

√神经网路的层数：一般不计入输入层，层数 = n 个隐藏层 + 1 个输出层

2

√神经网路待优化的参数：神经网络中所有参数 w 的个数 + 所有参数 b 的个数

√损失函数（loss）： 用来表示预测值（y）与已知答案（y_）的差距。在训练神经网络时，通过不断

改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。

√常用的损失函数有均方误差、自定义和交叉熵等。

√均方误差 mse：n 个样本的预测值 y 与已知答案 y_之差的平方和，再求平均值。

MSE(y_, y) =

󰌣

󰇛󰇜



在 Tensorflow 中用 loss_mse = tf.reduce_mean(tf.square(y_ - y))

我们把这套自制的数据集喂入神经网络，构建一个一层的神经网络，拟合预测酸奶日销量的函数。

3

4

由上述代码可知，本例中神经网络预测模型为 y = w1*x1 + w2*x2，损失函数采用均方误差。通过使

损失函数值（loss）不断降低，神经网络模型得到最终参数 w1=0.98，w2=1.02，销量预测结果为 y =

0.98*x1 + 1.02*x2。由于在生成数据集时，标准答案为 y = x1 + x2，因此，销量预测结果和标准

答案已非常接近，说明该神经网络预测酸奶日销量正确。

√自定义损失函数：根据问题的实际情况，定制合理的损失函数。

对于预测酸奶日销量问题，如果预测销量大于实际销量则会损失成本；如果预测销量小于实际销量则

loss = tf.reduce_sum(tf.where(tf.greater(y,y_),COST(y-y_),PROFIT(y_-y)))

一些。采用上述的自定义损失函数，训练神经网络模型。

5

1.05*x2。由此可见，采用自定义损失函数预测的结果大于采用均方误差预测的结果，更符合实际需