4 CONTENTS
5.3 Multinomial logistic regression . . . . . . . . . . . . . . . . . . . 88
5.4 Learning in Logistic Regression . . . . . . . . . . . . . . . . . . . 91
5.5 The cross-entropy loss function . . . . . . . . . . . . . . . . . . . 92
5.6 Gradient Descent . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.7 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.8 Learning in Multinomial Logistic Regression . . . . . . . . . . . . 100
5.9 Interpreting models . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.10 Advanced: Deriving the Gradient Equation . . . . . . . . . . . . . 102
5.11 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 104
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6 Vector Semantics and Embeddings 105
6.1 Lexical Semantics . . . . . . . . . . . . . . . . . . . . . . . . . . 106
6.2 Vector Semantics . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.3 Words and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.4 Cosine for measuring similarity . . . . . . . . . . . . . . . . . . . 114
6.5 TF-IDF: Weighing terms in the vector . . . . . . . . . . . . . . . 115
6.6 Pointwise Mutual Information (PMI) . . . . . . . . . . . . . . . . 118
6.7 Applications of the tf-idf or PPMI vector models . . . . . . . . . . 120
6.8 Word2vec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.9 Visualizing Embeddings . . . . . . . . . . . . . . . . . . . . . . . 127
6.10 Semantic properties of embeddings . . . . . . . . . . . . . . . . . 128
6.11 Bias and Embeddings . . . . . . . . . . . . . . . . . . . . . . . . 130
6.12 Evaluating Vector Models . . . . . . . . . . . . . . . . . . . . . . 131
6.13 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 133
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7 Neural Networks and Neural Language Models 136
7.1 Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.2 The XOR problem . . . . . . . . . . . . . . . . . . . . . . . . . . 139
7.3 Feedforward Neural Networks . . . . . . . . . . . . . . . . . . . . 142
7.4 Feedforward networks for NLP: Classification . . . . . . . . . . . 147
7.5 Training Neural Nets . . . . . . . . . . . . . . . . . . . . . . . . 149
7.6 Feedforward Neural Language Modeling . . . . . . . . . . . . . . 156
7.7 Training the neural language model . . . . . . . . . . . . . . . . . 158
7.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 161
8 Sequence Labeling for Parts of Speech and Named Entities 162
8.1 (Mostly) English Word Classes . . . . . . . . . . . . . . . . . . . 163
8.2 Part-of-Speech Tagging . . . . . . . . . . . . . . . . . . . . . . . 165
8.3 Named Entities and Named Entity Tagging . . . . . . . . . . . . . 167
8.4 HMM Part-of-Speech Tagging . . . . . . . . . . . . . . . . . . . 169
8.5 Conditional Random Fields (CRFs) . . . . . . . . . . . . . . . . . 176
8.6 Evaluation of Named Entity Recognition . . . . . . . . . . . . . . 181
8.7 Further Details . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
8.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 184
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
