14天动手学深度学习-Task2

一、梯度消失、梯度爆炸以及Kaggle房价预测 随机初始化模型参数 在神经网络中，通常需要随机初始化模型参数。下面我们来解释这样做的原因。 如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。**在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。**之后的迭代也是如此。在这种情况下，无论隐藏单元有多少，隐藏层本质上只有1个隐藏单元在发挥作用。因此，正如在前面的实验中所做的那样，我们通常将神经网络的模型参数，特别是权重参数，进行随机初始化。 二、考虑环境因素 协变量偏移：协变量偏