过拟合，欠拟合，梯度消失，梯度爆炸

过拟合和欠拟合 我们将探究模型训练中经常出现的两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度 模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征xxx和对应的标量标签 yyy 组成的训练数据集，多项式函数拟合的目标是找一个 KKK 阶多项式函数 来近似yyy。在上式中， w