CONTENTS iii
3 Configure Gradient Precision with Batch Size 29
3.1 Batch Size and Gradient Descent . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Gradient Descent Keras API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3 Batch Size Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.4 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4 Configure What to Optimize with Loss Functions 49
4.1 Loss Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2 Regression Loss Functions Case Study . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 Binary Classification Loss Functions Case Study . . . . . . . . . . . . . . . . . . 64
4.4 Multiclass Classification Loss Functions Case Study . . . . . . . . . . . . . . . . 74
4.5 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.6 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5 Configure Speed of Learning with Learning Rate 87
5.1 Learning Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.2 Learning Rate Keras API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3 Learning Rate Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.4 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.5 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6 Stabilize Learning with Data Scaling 121
6.1 Data Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.2 Data Scaling scikit-learn API . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.3 Data Scaling Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
6.5 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
7 Fix Vanishing Gradients with ReLU 141
7.1 Vanishing Gradients and ReLU . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.2 ReLU Keras API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.3 ReLU Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.4 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
7.5 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
8 Fix Exploding Gradients with Gradient Clipping 167
8.1 Exploding Gradients and Clipping . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.2 Gradient Clipping Keras API . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
8.3 Gradient Clipping Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
8.4 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.5 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
5星 · 超过95%的资源 25 浏览量
2021-06-26
16:02:09
上传
评论
收藏 9.38MB PDF 举报 
VIP享7折，此内容立减3.57元 
- 1
- 2
前往页