卷积神经网络CNN理论推导-推导公式清楚明了
需积分: 44 43 浏览量
2021-05-23
11:19:25
上传
评论 1
收藏 45KB DOCX 举报
CNN 理论推导
1 卷积神经网络误差反向传播过程
误差反向传播的学习方法即梯度下降法求最小误差的过程，实际是误差能量关于权
重参数的导数.
W
n +1
=W
n
−∆ W
n
（式 1）
∆ W
n
=η
∂ E
e
n
∂W
n
=η
∂ E
e
n
∂ U
n
.
∂ U
n
∂ W
n
=η δ
n
X
n
（式 2）
U
n
= W
n
X
n
（式 3）
其中：W：权重；E：误差能量；n：第 n 轮更新迭代；
η
：学习参数；Y：输出；
δ
：
局部梯度；
δ
n
=
∂ E
e
n
∂ U
n
（式 4）
同当前层输入时相关，误差传递至下一层。
1.1 输出层（单层神经网络层）
（1） 误差输出定义为实际输出与理论输出的误差
E
e
n
=
1
2
∑
i
N
d
i
− y
i
（式 5）
注：本网络输出为 10，则 N=10
其中：d 为理想预期输出；y：实际输出；i：输出位
（2） 误差能量关于参数（权重）的导数
∂ E
e
o 5
∂W ij
o 5
=
∂ E
e
o 5
∂ yi
o 5
.
∂ E
e
o 5
∂ u
j
o 5
.
∂ u
j
o 5
∂ Wi
o 5
（式 6）
u
j
o 5
=
∑
i
192
Wij
o 5
y
i
S 4
+b
i
O5
（式 7）
yi
o 5
=φ( u
j
o 5
)
（式 8）
E
e
o 5
=
1
2
∑
i
N
(d¿¿i− y
j
O 5
)
2
¿
（式 9）
内部编码：LN-TF-001
1/3
评论0
最新资源