Contents
1 Introduction 15
I Probability 21
2 Introduction to probability 25
2.1 Random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 Joint probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 Marginalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4 Conditional probability . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.5 Bayes’ rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.7 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3 Common probability distributions 35
3.1 Bernoulli distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2 Beta distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3 Categorical distribution . . . . . . . . . . . . . . . . . . . . . . . . 38
3.4 Dirichlet distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5 Univariate normal distribution . . . . . . . . . . . . . . . . . . . . 40
3.6 Normal-scaled inverse gamma distribution . . . . . . . . . . . . . . 40
3.7 Multivariate normal distribution . . . . . . . . . . . . . . . . . . . 41
3.8 Normal inverse Wishart distribution . . . . . . . . . . . . . . . . . 42
3.9 Conjugacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4 Fitting probability models 49
4.1 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2 Maximum a posteriori . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.3 The Bayesian approach . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.4 Worked example 1: univariate normal . . . . . . . . . . . . . . . . 51
4.5 Worked example 2: categorical distribution . . . . . . . . . . . . . 60
5 The normal distribution 69
5.1 Types of covariance matrix . . . . . . . . . . . . . . . . . . . . . . 69
5.2 Decomposition of covariance . . . . . . . . . . . . . . . . . . . . . . 71
5.3 Linear transformations of variables . . . . . . . . . . . . . . . . . . 72
Copyright
c
2011,2012 by Simon Prince; published by Cambridge University Press 2012.
For personal use only, not for distribution.
