深度学习反向传播四大公式详细推导
5星 · 超过95%的资源 需积分: 50 169 浏览量
2022-08-24
16:26:38
上传
评论
收藏 1.16MB PDF 举报 
反向传播推导（单个样本）：
1、先计算输出层误差：
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
L
a
a
a
a
C
a
C
a
C
a
a
C
a
a
C
a
a
C
C
C
C
3
1
2
2
1
1
3
2
1
3
1
3
2
2
2
1
1
1
3
2
1
3
2
1
z
z
z
z
z
z
z
z
z
用矩阵表示就是（其中
)(
L
j
L
j
zga
为激活函数）：
)(
'C L
a
L
Zg
（BP1）
2、使用上层误差（输出层）
L
表示前层误差
1-L
：
其实就是要求：
1
2
1
1
1
1
L
L
L
L
Z
C
（BP2）
我们先对 L-1 层中的第一个神经单元进行求导，即求：
1
1
1
1
L
L
z
C
1
1
z
L
经过正向传播给了后面 L 层的所有神经元，因此在对
1
1
z
L
求导时，应该是由三部分（图
中红色线）组成：
W32
W31
W22
W21
W12
W11
L
层（输出层）
L-1 层
L-2 层
L-3
层
输入层
资源评论
LauraKuang2023-07-28这篇文章的内容实用性很高，对于想要深入学习深度学习反向传播算法的人来说是一份优质的资料。
乔木Leo2023-07-28通过对四大公式的详细推导，让我对深度学习反向传播有了更深入的理解。
白羊的羊2023-07-28这篇文章详细推导了深度学习反向传播的四大公式，非常透彻。
黄浦江畔的夏先生2023-07-28文章中的推导过程简明扼要，容易理解，对初学者来说非常友好。
Friday永不为奴2023-07-28作者对于公式的推导没有遗漏任何步骤，很细致。
