Contents
I Introduction 1
1 Introduction To Advanced Algorithmic Trading . . . . . . . . . . . . . . . . . 3
1.1 The Hunt for Alpha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Why Time Series Analysis, Bayesian Statistics and Machine Learning? . . . . . . 3
1.2.1 Bayesian Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Time Series Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.3 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 How Is The Book Laid Out? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 Required Technical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.1 Mathematics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.2 Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 How Does This Book Differ From “Successful Algorithmic Trading”? . . . . . . . 9
1.6 Software Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6.1 Installing Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6.2 Installing R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 QSTrader Backtesting Simulation Software . . . . . . . . . . . . . . . . . . . . . 11
1.7.1 Alternatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.8 Where to Get Help . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
II Bayesian Statistics 13
2 Introduction to Bayesian Statistics . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1 What is Bayesian Statistics? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.1 Frequentist vs Bayesian Examples . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Applying Bayes’ Rule for Bayesian Inference . . . . . . . . . . . . . . . . . . . . . 20
2.3 Coin-Flipping Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3 Bayesian Inference of a Binomial Proportion . . . . . . . . . . . . . . . . . . . 27
1
2
3.1 The Bayesian Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2 Assumptions of the Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Recalling Bayes’ Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 The Likelihood Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.4.1 Bernoulli Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.4.2 Bernoulli Likelihood Function . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4.3 Multiple Flips of the Coin . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.5 Quantifying our Prior Beliefs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.5.1 Beta Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.5.2 Why Is A Beta Prior Conjugate to the Bernoulli Likelihood? . . . . . . . 36
3.5.3 Multiple Ways to Specify a Beta Prior . . . . . . . . . . . . . . . . . . . . 36
3.6 Using Bayes’ Rule to Calculate a Posterior . . . . . . . . . . . . . . . . . . . . . . 37
4 Markov Chain Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.1 Bayesian Inference Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 Why Markov Chain Monte Carlo? . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.2.1 Markov Chain Monte Carlo Algorithms . . . . . . . . . . . . . . . . . . . 43
4.3 The Metropolis Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.4 Introducing PyMC3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.5 Inferring a Binomial Proportion with Markov Chain Monte Carlo . . . . . . . . . 45
4.5.1 Inferring a Binonial Proportion with Conjugate Priors Recap . . . . . . . 46
4.5.2 Inferring a Binomial Proportion with PyMC3 . . . . . . . . . . . . . . . . 46
4.6 Bibliographic Note . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5 Bayesian Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.1 Frequentist Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2 Bayesian Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.3 Bayesian Linear Regression with PyMC3 . . . . . . . . . . . . . . . . . . . . . . . 57
5.3.1 What are Generalised Linear Models? . . . . . . . . . . . . . . . . . . . . 58
5.3.2 Simulating Data and Fitting the Model with PyMC3 . . . . . . . . . . . . 59
5.4 Bibliographic Note . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.5 Full Code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6 Bayesian Stochastic Volatility Model . . . . . . . . . . . . . . . . . . . . . . . . 71
6.1 Stochastic Volatility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3
6.2 Bayesian Stochastic Volatility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6.3 PyMC3 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.3.1 Obtaining the Price History . . . . . . . . . . . . . . . . . . . . . . . . . . 77
6.3.2 Model Specification in PyMC3 . . . . . . . . . . . . . . . . . . . . . . . . 77
6.3.3 Fitting the Model with NUTS . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.4 Full Code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
III Time Series Analysis 85
7 Introduction to Time Series Analysis . . . . . . . . . . . . . . . . . . . . . . . . 87
7.1 What is Time Series Analysis? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7.2 How Can We Apply Time Series Analysis in Quantitative Finance? . . . . . . . . 88
7.3 Time Series Analysis Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
7.4 Time Series Analysis Roadmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
7.5 How Does This Relate to Other Statistical Tools? . . . . . . . . . . . . . . . . . . 90
8 Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
8.1 Expectation, Variance and Covariance . . . . . . . . . . . . . . . . . . . . . . . . 94
8.1.1 Example: Sample Covariance in R . . . . . . . . . . . . . . . . . . . . . . 95
8.2 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
8.2.1 Example: Sample Correlation in R . . . . . . . . . . . . . . . . . . . . . . 97
8.3 Stationarity in Time Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
8.4 Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
8.5 The Correlogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8.5.1 Example 1 - Fixed Linear Trend . . . . . . . . . . . . . . . . . . . . . . . 102
8.5.2 Example 2 - Repeated Sequence . . . . . . . . . . . . . . . . . . . . . . . 102
8.6 Next Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
9 Random Walks and White Noise Models . . . . . . . . . . . . . . . . . . . . . . 105
9.1 Time Series Modelling Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
9.2 Backward Shift and Difference Operators . . . . . . . . . . . . . . . . . . . . . . 106
9.3 White Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9.3.1 Second-Order Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
9.3.2 Correlogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
9.4 Random Walk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4
9.4.1 Second-Order Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
9.4.2 Correlogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
9.4.3 Fitting Random Walk Models to Financial Data . . . . . . . . . . . . . . 111
10 Autoregressive Moving Average Models . . . . . . . . . . . . . . . . . . . . . . 117
10.1 How Will We Proceed? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
10.2 Strictly Stationary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
10.3 Akaike Information Criterion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
10.4 Autoregressive (AR) Models of order p . . . . . . . . . . . . . . . . . . . . . . . . 120
10.4.1 Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
10.4.2 Stationarity for Autoregressive Processes . . . . . . . . . . . . . . . . . . . 121
10.4.3 Second Order Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
10.4.4 Simulations and Correlograms . . . . . . . . . . . . . . . . . . . . . . . . . 123
10.4.5 Financial Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
10.5 Moving Average (MA) Models of order q . . . . . . . . . . . . . . . . . . . . . . . 134
10.5.1 Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
10.5.2 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
10.5.3 Second Order Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
10.5.4 Simulations and Correlograms . . . . . . . . . . . . . . . . . . . . . . . . . 136
10.5.5 Financial Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
10.5.6 Next Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
10.6 Autogressive Moving Average (ARMA) Models of order p, q . . . . . . . . . . . . 149
10.6.1 Bayesian Information Criterion . . . . . . . . . . . . . . . . . . . . . . . . 150
10.6.2 Ljung-Box Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
10.6.3 Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
10.6.4 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
10.6.5 Simulations and Correlograms . . . . . . . . . . . . . . . . . . . . . . . . . 152
10.6.6 Choosing the Best ARMA(p,q) Model . . . . . . . . . . . . . . . . . . . . 157
10.6.7 Financial Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
10.7 Next Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
11 Autoregressive Integrated Moving Average and Conditional Heteroskedastic
Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
11.1 Quick Recap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
11.2 Autoregressive Integrated Moving Average (ARIMA) Models of order p, d, q . . 164
