Contents
Preface vii
Acknowledgements ix
1 Introduction 1
1.1 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Reinforcement learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Ethics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5 Structure of book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.6 Other books . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.7 How to read this book . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2 Supervised learning 17
2.1 Supervised learning overview . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Linear regression example . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3 Shallow neural networks 25
3.1 Neural network example . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 Universal approximation theorem . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Multivariate inputs and outputs . . . . . . . . . . . . . . . . . . . . . . . 30
3.4 Shallow neural networks: general case . . . . . . . . . . . . . . . . . . . . 33
3.5 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4 Deep neural networks 41
4.1 Composing neural networks . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 From composing networks to deep networks . . . . . . . . . . . . . . . . 43
4.3 Deep neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.4 Matrix notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.5 Shallow vs. deep neural networks . . . . . . . . . . . . . . . . . . . . . . 49
4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Draft: please send errata to udlbookmail@gmail.com.
