*QTv`B;?i!kyRd- sBm@a?2M q1A
解析卷积神经网络
——深度学习实践手册
魏秀参 UsBm@a?2M q1AV
?iiT,ffHK/XMDmX2/mX+Mfr2Btbf
*QTv`B;?i!kyRd- sBm@a?2M q1A
目录
A 绪论 RR
yXR 引言 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Rk
yXk 什么是深度学习？ XXXXXXXXXXXXXXXXXXXXXXXXXX Rj
yXj 深度学习的前世今生 XXXXXXXXXXXXXXXXXXXXXXXXX R9
AA 基础理论篇 RN
R 卷积神经网络基础知识 kR
RXR 发展历程 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX kk
RXk
基本结构
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX k9
RXj 前馈运算 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX ke
RX9 反馈运算 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX kd
RX8
小结
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX kN
k 卷积神经网络基本部件 jR
kXR
“端到端”思想
XXXXXXXXXXXXXXXXXXXXXXXXXXXX jR
kXk 网络符号定义 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX jj
kXj 卷积层 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX j9
kXjXR
什么是卷积？
XXXXXXXXXXXXXXXXXXXXXXXXX j9
kXjXk 卷积操作的作用 XXXXXXXXXXXXXXXXXXXXXXXX je
kX9 汇合层 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX jd
k
*QTv`B;?i!kyRd- sBm@a?2M q1A
目录 j
kX9XR 什么是汇合？ XXXXXXXXXXXXXXXXXXXXXXXXX j3
kX9Xk 汇合操作的作用 XXXXXXXXXXXXXXXXXXXXXXXX jN
kX8 激活函数 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 9y
kXe 全连接层 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 9k
kXd 目标函数 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 9j
kX3 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 9j
j 卷积神经网络经典结构 99
jXR *LL 网络结构中的重要概念 XXXXXXXXXXXXXXXXXXXX 99
jXRXR 感受野 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 99
jXRXk 分布式表示 XXXXXXXXXXXXXXXXXXXXXXXXXX 9e
jXRXj 深度特征的层次性 XXXXXXXXXXXXXXXXXXXXXX 93
jXk
经典网络案例分析
XXXXXXXXXXXXXXXXXXXXXXXXXX 9N
jXkXR H2t@L2i 网络模型 XXXXXXXXXXXXXXXXXXXXXX 9N
jXkXk o::@L2ib 网络模型 XXXXXXXXXXXXXXXXXXXXX 8j
jXkXj L2irQ`F@AM@L2irQ`F X X X X X X X X X X X X X X X X X X X X X 8j
jXkX9 残差网络模型 XXXXXXXXXXXXXXXXXXXXXXXXX 89
jXj 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 8N
9 卷积神经网络的压缩 e9
9XR 低秩近似 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX ee
9Xk 剪枝与稀疏约束 XXXXXXXXXXXXXXXXXXXXXXXXXXXX ed
9Xj 参数量化 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX dR
9X9 二值网络 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX d8
9X8 知识蒸馏 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX dd
9Xe 紧凑的网络结构 XXXXXXXXXXXXXXXXXXXXXXXXXXXX dN
9Xd 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 3R
*QTv`B;?i!kyRd- sBm@a?2M q1A
9 目录
AAA 实践应用篇 3k
8 数据扩充 39
8XR 简单的数据扩充方式 XXXXXXXXXXXXXXXXXXXXXXXXX 39
8Xk 特殊的数据扩充方式 XXXXXXXXXXXXXXXXXXXXXXXXX 3e
8XkXR 6M+v S* X X X X X X X X X X X X X X X X X X X X X X X X X X 3e
8XkXk 监督式数据扩充 XXXXXXXXXXXXXXXXXXXXXXXX 3e
8Xj 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 3d
e 数据预处理 3N
d 网络参数初始化 NR
dXR 全零初始化 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Nk
dXk 随机初始化 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Nk
dXj 其他初始化方法 XXXXXXXXXXXXXXXXXXXXXXXXXXXX N8
dX9 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Ne
3 激活函数 Nd
3XR aB;KQB/ 型函数 XXXXXXXXXXXXXXXXXXXXXXXXXXXX N3
3Xk iM?(x) 型函数 XXXXXXXXXXXXXXXXXXXXXXXXXXXX NN
3Xj 修正线性单元（_2Gl） XXXXXXXXXXXXXXXXXXXXXXX NN
3X9 G2Fv _2Gl X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X Ryy
3X8 参数化 _2Gl X X X X X X X X X X X X X X X X X X X X X X X X X X X X X Ryy
3Xe 随机化 _2Gl X X X X X X X X X X X X X X X X X X X X X X X X X X X X X RyR
3Xd 指数化线性单元（1Gl） XXXXXXXXXXXXXXXXXXXXXXRyj
3X3 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRyj
N 目标函数 Rye
NXR 分类任务的目标函数 XXXXXXXXXXXXXXXXXXXXXXXXXRye
NXRXR 交叉熵损失函数 XXXXXXXXXXXXXXXXXXXXXXXXRyd
NXRXk 合页损失函数 XXXXXXXXXXXXXXXXXXXXXXXXXRyd
*QTv`B;?i!kyRd- sBm@a?2M q1A
目录 8
NXRXj 坡道损失函数 XXXXXXXXXXXXXXXXXXXXXXXXXRyd
NXRX9 大间隔交叉熵损失函数 XXXXXXXXXXXXXXXXXXXXRyN
NXRX8 中心损失函数 XXXXXXXXXXXXXXXXXXXXXXXXXRRy
NXk 回归任务的目标函数 XXXXXXXXXXXXXXXXXXXXXXXXXRRk
NXkXR ℓ
1
损失函数 XXXXXXXXXXXXXXXXXXXXXXXXXXRRj
NXkXk ℓ
2
损失函数 XXXXXXXXXXXXXXXXXXXXXXXXXXRRj
NXkXj hmF2vǶb #Br2B;?i 损失函数 XXXXXXXXXXXXXXXXXRRj
NXj 其他任务的目标函数 XXXXXXXXXXXXXXXXXXXXXXXXXRR9
NX9 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRRe
Ry
网络正则化
RRd
RyXR ℓ
2
正则化 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRR3
RyXk ℓ
1
正则化 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRRN
RyXj 最大范数约束 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXRRN
RyX9 随机失活 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRRN
RyX8 验证集的使用 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXRky
RyXe 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRkk
RR 超参数设定和网络训练 Rk9
RRXR 网络超参数设定 XXXXXXXXXXXXXXXXXXXXXXXXXXXXRk9
RRXRXR 输入数据像素大小 XXXXXXXXXXXXXXXXXXXXXXRk9
RRXRXk 卷积层参数的设定 XXXXXXXXXXXXXXXXXXXXXXRk8
RRXRXj 汇合层参数的设定 XXXXXXXXXXXXXXXXXXXXXXRke
RRXk 训练技巧 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRke
RRXkXR 训练数据随机打乱 XXXXXXXXXXXXXXXXXXXXXXRke
RRXkXk 学习率的设定 XXXXXXXXXXXXXXXXXXXXXXXXXRkd
RRXkXj 批规范化操作 XXXXXXXXXXXXXXXXXXXXXXXXXRk3
RRXkX9 网络模型优化算法选择 XXXXXXXXXXXXXXXXXXXXRjy
RRXkX8 微调神经网络 XXXXXXXXXXXXXXXXXXXXXXXXXRj9
RRXj 小结 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXRj8
