4 CONTENTS
5.1 Introduction to Signal Compression Using Haar Wavelets . . . . . . . . . . 137
5.2 Haar Matrices, Scaling Properties of Haar Wavelets . . . . . . . . . . . . . . 139
5.3 Kronecker Product Construction of Haar Matrices . . . . . . . . . . . . . . 144
5.4 Multiresolution Signal Analysis with Haar Bases . . . . . . . . . . . . . . . 146
5.5 Haar Transform for Digital Images . . . . . . . . . . . . . . . . . . . . . . . 149
5.6 Hadamard Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
5.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
5.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6 Direct Sums 163
6.1 Sums, Direct Sums, Direct Products . . . . . . . . . . . . . . . . . . . . . . 163
6.2 Matrices of Linear Maps and Multiplication by Blocks . . . . . . . . . . . . 173
6.3 The Rank-Nullity Theorem; Grassmann’s Relation . . . . . . . . . . . . . . 186
6.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
6.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7 Determinants 201
7.1 Permutations, Signature of a Permutation . . . . . . . . . . . . . . . . . . . 201
7.2 Alternating Multilinear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . 205
7.3 Definition of a Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
7.4 Inverse Matrices and Determinants . . . . . . . . . . . . . . . . . . . . . . . 218
7.5 Systems of Linear Equations and Determinants . . . . . . . . . . . . . . . . 221
7.6 Determinant of a Linear Map . . . . . . . . . . . . . . . . . . . . . . . . . . 223
7.7 The Cayley–Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.8 Permanents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
7.10 Further Readings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
8 Gaussian Elimination, LU, Cholesky, Echelon Form 239
8.1 Motivating Example: Curve Interpolation . . . . . . . . . . . . . . . . . . . 239
8.2 Gaussian Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
8.3 Elementary Matrices and Row Operations . . . . . . . . . . . . . . . . . . . 248
8.4 LU-Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
8.5 P A = LU Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
8.6 Proof of Theorem 8.5 ~ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
8.7 Dealing with Roundoff Errors; Pivoting Strategies . . . . . . . . . . . . . . . 270
8.8 Gaussian Elimination of Tridiagonal Matrices . . . . . . . . . . . . . . . . . 272
8.9 SPD Matrices and the Cholesky Decomposition . . . . . . . . . . . . . . . . 274
8.10 Reduced Row Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
8.11 RREF, Free Variables, Homogeneous Systems . . . . . . . . . . . . . . . . . 289
8.12 Uniqueness of RREF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
8.13 Solving Linear Systems Using RREF . . . . . . . . . . . . . . . . . . . . . . 294
