3.13 实战 Kaggle ⽐赛：预测房价和 K 折交叉验证 . . . . . . . . . . . . . . . . . . . 102
4 深度学习计算基础 117
4.1 模型构造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.2 模型参数的访问、初始化和共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
4.3 模型参数的延后初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4.4 ⾃定义层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.5 读取和存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.6 GPU 计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5 卷积神经⽹络 139
5.1 卷积神经⽹络——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.2 卷积神经⽹络——使⽤ Gluon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.3 批量归⼀化——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.4 批量归⼀化——使⽤ Gluon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.5 深度卷积神经⽹络：AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5.6 使⽤重复元素的⽹络：VGG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.7 ⽹络中的⽹络：NiN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
5.8 含并⾏连结的⽹络：GoogLeNet . . . . . . . . . . . . . . . . . . . . . . . . . . 170
5.9 残差⽹络：ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
5.10 稠密连接的⽹络：DenseNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
6 循环神经⽹络 187
6.1 循环神经⽹络——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.2 通过时间反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
6.3 ⻔控循环单元（GRU）——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . 211
6.4 ⻓短期记忆（LSTM）——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . . 218
6.5 循环神经⽹络——使⽤ Gluon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
7 优化算法 235
7.1 优化算法概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
7.2 梯度下降和随机梯度下降——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . 240
7.3 梯度下降和随机梯度下降——使⽤ Gluon . . . . . . . . . . . . . . . . . . . . . . 250
7.4 动量法——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
7.5 动量法——使⽤ Gluon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
7.6 Adagrad——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
7.7 Adagrad——使⽤ Gluon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
7.8 RMSProp——从零开始 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
ii
评论0