CONTENTS 2
6.1.3 All-or-nothing Loss . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
6.1.4 Invariance of Decisions . . . . . . . . . . . . . . . . . . . . . . . . . 40
6.1.5 Computing Point Estimates from a Bayes’ Box . . . . . . . . . . . . 41
6.1.6 Computing Point Estimates from Samples . . . . . . . . . . . . . . 41
6.2 Credible Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.2.1 Computing Credible Intervals from a Bayes’ Box . . . . . . . . . . . 42
6.2.2 Computing Credible Intervals from Samples . . . . . . . . . . . . . 43
6.3 Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
7 Hypothesis Testing and Model Selection 45
7.1 An Example Hypothesis Test . . . . . . . . . . . . . . . . . . . . . . . . . 45
7.2 The “Testing” Prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7.3 Some Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
7.4 Hypothesis Testing and the Marginal Likelihood . . . . . . . . . . . . . . . 51
8 Markov Chain Monte Carlo 52
8.1 Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
8.1.1 Summaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
8.2 Multiple Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
8.3 The Metropolis Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
8.3.1 Metropolis, Stated . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
8.4 A Two State Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
8.5 The Steady-State Distribution of a Markov Chain . . . . . . . . . . . . . . 59
8.6 Tactile MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
9 Using JAGS 61
9.1 Basic JAGS Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
9.2 Checklist for Using JAGS . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
10 Regression 67
10.1 A Simple Linear Regression Problem . . . . . . . . . . . . . . . . . . . . . 67
10.2 Interpretation as a Bayesian Question . . . . . . . . . . . . . . . . . . . . . 67
10.3 Analytical Solution With Known Variance . . . . . . . . . . . . . . . . . . 68
10.4 Solution With JAGS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
10.5 Results for “Road” Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
10.6 Predicting New Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
10.7 Simple Linear Regression With Outliers . . . . . . . . . . . . . . . . . . . . 75
10.8 Multiple Linear Regression and Logistic Regression . . . . . . . . . . . . . 76
11 Replacements for t-tests and ANOVA 77
11.1 A T-Test Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
11.1.1 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
11.1.2 Prior 1: Very Vague . . . . . . . . . . . . . . . . . . . . . . . . . . 79
11.1.3 Prior 2: They might be equal! . . . . . . . . . . . . . . . . . . . . . 79
11.1.4 Prior 3: Alright, they’re not equal, but they might be close . . . . . 80
11.2 One Way Anova . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
11.2.1 Hierarchical Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
11.2.2 MCMC Efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
11.2.3 An Alternative Parameterisation . . . . . . . . . . . . . . . . . . . 86
