CNN 理论推导
1 卷积神经网络误差反向传播过程
误差反向传播的学习方法即梯度下降法求最小误差的过程,实际是误差能量关于权
重参数的导数.
∆ W
n
=η
∂ E
e
n
∂W
n
=η
∂ E
e
n
∂ U
n
.
∂ U
n
∂ W
n
=η δ
n
X
n
(式 3)
其中:W:权重;E:误差能量;n:第 n 轮更新迭代;
(式 4)
同当前层输入时相关,误差传递至下一层。
1.1 输出层(单层神经网络层)
(1) 误差输出定义为实际输出与理论输出的误差
(式 5)
注:本网络输出为 10,则 N=10
其中:d 为理想预期输出;y:实际输出;i:输出位
(2) 误差能量关于参数(权重)的导数
∂ E
e
o 5
∂W ij
o 5
=
∂ E
e
o 5
∂ yi
o 5
.
∂ E
e
o 5
∂ u
j
o 5
.
∂ u
j
o 5
∂ Wi
o 5
u
j
o 5
=
∑
i
192
Wij
o 5
y
i
S 4
+b
i
O5
E
e
o 5
=
1
2
∑
i
N
(d¿¿i− y
j
O 5
)
2
¿
评论0
最新资源