Sparse Autoencoder 前向阶段（feed-forward）
-1
-1
-1
隐藏层的输入数据矩阵：
𝑖𝑛𝑝𝑢𝑡
∈
𝑖𝑛𝑝𝑢𝑡𝐷𝑖𝑚
×
𝑠𝑎𝑚𝑝𝑙𝑒
输入层权重矩阵：
𝑊
1
∈
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
×
𝑖𝑛𝑝𝑢𝑡𝐷𝑖𝑚
✓ 隐藏层的诱导局部域：
ℎ𝑖𝑑𝑑𝑒𝑛𝑉
=
𝑊
1
∙
𝑖𝑛𝑝𝑢𝑡
+
𝑏
1
∈
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
×
𝑠𝑎𝑚𝑝𝑙𝑒
✓ 隐藏层输出：
ℎ𝑖𝑑𝑑𝑒𝑛𝑋
=
sigmoid
ℎ𝑖𝑑𝑑𝑒𝑛𝑉
∈
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
×
𝑠𝑎𝑚𝑝𝑙𝑒
✓
𝐾𝐿
𝐷𝑖𝑣𝑒𝑟𝑠𝑖𝑜𝑛
:
𝐷
𝐾𝐿
ρ
∥
ℎ𝑖𝑑𝑑𝑒𝑛𝑋
=
∑
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
𝑖
𝜌
𝑖
∙
log
𝜌
𝑖
ℎ𝑖𝑑𝑑𝑒𝑛
𝑋
𝑖
+
(
1
―
𝜌
𝑖
)
∙
log
1
―
𝜌
𝑖
1
―
ℎ𝑖𝑑𝑑𝑒𝑛
𝑋
𝑖
✓ 这里由于
ℎ𝑖𝑑𝑑𝑒𝑛𝑋
∈
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
×
𝑠𝑎𝑚𝑝𝑙𝑒
，所以要对每一维求 sample 的均值，使：
ℎ𝑖𝑑𝑑𝑒𝑛𝑋
∈
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
×
1
。
输出层的输入数据矩阵：
ℎ𝑖𝑑𝑑𝑒𝑛𝑋
∈
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
×
𝑠𝑎𝑚𝑝𝑙𝑒
输出层权重矩阵：
𝑊
2
∈
𝐷𝑖𝑚
×
ℎ𝑖𝑑𝑑𝑒𝑛𝐷𝑖𝑚
