Deep learning：五十一(CNN的反向求导及练习) - tornadomeet - 博客园1

《深度学习：卷积神经网络的反向求导与实践》 卷积神经网络（CNN）作为深度学习领域最成功的模型之一，对于它的深入研究至关重要。在之前的介绍中，我们已经简单探讨了CNN的基本应用，但那是在假设CNN的参数已经预先训练好的情况下。然而，实际操作中，我们需要了解如何通过反向传播算法来训练CNN的参数，尤其是考虑到CNN特有的卷积层和池化层。这些结构使得CNN的反向传播与传统的多层感知机（MLP）的反向传播有所不同。 本文将基于斯坦福大学的UFLDL教程，通过实现对MNIST手写数字识别的任务，讲解CNN的反向传播过程。在这个实验中，我们将采用有监督学习的CNN网络，并遵循教程中给出的参数和架构，不做额外的调整。 理解CNN的反向传播求导，关键在于掌握以下几个子问题： 1. 输出层的误差敏感项计算：对于单一样本(x, y)，损失函数通常使用交叉熵，并忽略权重正则化项。当样本标签使用one-hot编码，最后一层为softmax全连接层时，样本(x, y)经过CNN后的输出f(x)是一个概率向量，表示x属于各类别的概率。损失函数对输出层的误差敏感性可以通过链式法则计算得到，其结果反映了每个类别概率预测的误差。 2. 卷积层的梯度计算：卷积层的权重参数包括滤波器（kernel）和偏置，需要计算它们的梯度。卷积层的反向传播涉及到特征图的反卷积操作，这与前向传播的卷积操作相对应，有助于更新滤波器权重。 3. 池化层的反向传播：池化层通常用于减小数据的尺寸，提高计算效率并减少过拟合。反向传播中，需要处理的最大值池化或平均池化的梯度传播，这需要特定的规则来更新池化层前的特征图。 4. 权重和偏置的更新：根据误差敏感项和梯度，我们可以利用优化算法（如梯度下降或其变种）更新每一层的权重和偏置。 在进行这些计算时，需要注意一些简化假设，例如忽略某些边界效应，以及在文本和公式编辑中的潜在错误。在实际应用中，需要对这些细节进行精确处理。 理解和掌握CNN的反向传播是实现深度学习中CNN训练的关键步骤。通过解决上述四个子问题，我们可以逐步推进整个网络的参数优化，从而提高模型的识别或预测性能。对于深度学习的实践者来说，这是一项必不可少的技能。