动手学深度学习（动手学深度学习（Pytorch版）版）task3-5打卡打卡
对于task3-5的内容进行打卡
Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
模型复杂度和误差之间的关系模型复杂度和误差之间的关系
权重衰减的计算公式：
Xavier初始化初始化
梯度裁剪梯度裁剪
循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。裁剪梯度（clip gradient）是一种应对梯度爆炸的方法。假设我们把所有模型参数的梯度拼接成一个向
量 g ，并设裁剪的阈值是 θ 。裁剪后的梯度为：
GRU
资源评论
