4.3.9 Solution of the general AR(∞) model (advanced) . . . . . . . . . . . 110
4.4 Simulating from an Autoregressive process . . . . . . . . . . . . . . . . . . . 114
4.5 The ARMA model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
4.6 ARFIMA models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.7 Unit roots, integrated and non-invertible processes . . . . . . . . . . . . . . . 125
4.7.1 Unit roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.7.2 Non-invertible processes . . . . . . . . . . . . . . . . . . . . . . . . . 126
4.8 Simulating from models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.9 Some diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.9.1 ACF and PACF plots for checking for MA and AR behaviour . . . . 127
4.9.2 Checking for unit roots . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.10 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5 A review of some results from multivariate analysis 134
5.1 Preliminaries: Euclidean space and projections . . . . . . . . . . . . . . . . . 134
5.1.1 Scalar/Inner products and norms . . . . . . . . . . . . . . . . . . . . 134
5.1.2 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.1.3 Orthogonal vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
5.1.4 Projecting in multiple stages . . . . . . . . . . . . . . . . . . . . . . . 136
5.1.5 Spaces of random variables . . . . . . . . . . . . . . . . . . . . . . . . 138
5.2 Linear prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.3 Partial correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
5.4 Properties of the precision matrix . . . . . . . . . . . . . . . . . . . . . . . . 144
5.4.1 Summary of results . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.4.2 Proof of results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.5 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6 The autocovariance and partial covariance of a stationary time series 158
6.1 The autocovariance function . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.1.1 The rate of decay of the autocovariance of an ARMA process . . . . . 159
3
