4.3.9 Solution of the general AR(∞) model (advanced) . . . . . . . . . . . 109
4.4 Simulating from an Autoregressive process . . . . . . . . . . . . . . . . . . . 113
4.5 The ARMA model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.6 ARFIMA models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.7 Unit roots, integrated and non-invertible processes . . . . . . . . . . . . . . . 124
4.7.1 Unit roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.7.2 Non-invertible processes . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.8 Simulating from models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4.9 Some diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4.9.1 ACF and PACF plots for checking for MA and AR behaviour . . . . 126
4.9.2 Checking for unit roots . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.10 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5 A review of some results from multivariate analysis 133
5.1 Preliminaries: Euclidean space and projections . . . . . . . . . . . . . . . . . 133
5.1.1 Scalar/Inner products and norms . . . . . . . . . . . . . . . . . . . . 133
5.1.2 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.1.3 Orthogonal vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.1.4 Projecting in multiple stages . . . . . . . . . . . . . . . . . . . . . . . 135
5.1.5 Spaces of random variables . . . . . . . . . . . . . . . . . . . . . . . . 137
5.2 Linear prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.3 Partial correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.4 Summary of properties of the precision matrix . . . . . . . . . . . . . . . . . 143
5.4.1 Proof of precision matrix properties . . . . . . . . . . . . . . . . . . . 145
5.5 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
6 The autocovariance and partial covariance of a stationary time series 157
6.1 The autocovariance function . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.1.1 The rate of decay of the autocovariance of an ARMA process . . . . . 158
6.1.2 The autocovariance of an autoregressive process and the Yule-Walker
equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
3