没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
1962页
要搞机器学习离不开数学,本文分享一本来自宾夕法尼亚大学计算机系教授Jean Gallier主编的面向机器学习的“数学全书”,内容涵盖线性代数、概率统计、拓扑学、微积分、最优化理论等面向ML的数学知识,共计1900余页。 机器学习,特别是深度学习离不开数学,深度学习的算法和模型的搭建,都需要重要的数学工具作为支撑。不管是对机器学习研究人员,还是立志走上机器学习和AI研究之路的学生来说,打好坚实的数学基础是都至关重要的。 在现行的主要机器学习教程中,基本上都会在书中最开始给出必要的数学知识,但一般都比较简略,这些教材一般默认读者已经具备了必要的数学知识。 对于没有掌握这些知识的读者来说,很多人需要去学习巩固,甚至在某些学科上从零开始学习。机器学习涉及到的数学学科背景知识比较广泛,除了必须掌握的线性代数、概率统计之外,还需要拓扑学、微积分、最优化理论等学科知识。 宾夕法尼亚大学计算机和信息学教授Jean Gallier就与他人合作编撰了一部“面向计算机和机器学习的数学全书”。这着实是本大部头,全书共计1900多页,涵盖了机器学习和深度学习相关的多个数学学科,包括线性代数,拓扑学、微分计算和最优化理论等。这本书的PDF电子版现已放出,需要的读者可以免费下载。
资源推荐
资源详情
资源评论
Algebra, Topology, Differential Calculus, and
Optimization Theory
For Computer Science and Machine Learning
Jean Gallier and Jocelyn Quaintance
Department of Computer and Information Science
University of Pennsylvania
Philadelphia, PA 19104, USA
e-mail: jean@cis.upenn.edu
c
Jean Gallier
March 22, 2020
2
Contents
Contents 3
1 Introduction 17
2 Groups, Rings, and Fields 19
2.1 Groups, Subgroups, Cosets . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Cyclic Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 Rings and Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
I Linear Algebra 43
3 Vector Spaces, Bases, Linear Maps 45
3.1 Motivations: Linear Combinations, Linear Independence, Rank . . . . . . . 45
3.2 Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3 Indexed Families; the Sum Notation
P
i∈I
a
i
. . . . . . . . . . . . . . . . . . 60
3.4 Linear Independence, Subspaces . . . . . . . . . . . . . . . . . . . . . . . . 66
3.5 Bases of a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.6 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.7 Linear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.8 Quotient Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3.9 Linear Forms and the Dual Space . . . . . . . . . . . . . . . . . . . . . . . . 94
3.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4 Matrices and Linear Maps 107
4.1 Representation of Linear Maps by Matrices . . . . . . . . . . . . . . . . . . 107
4.2 Composition of Linear Maps and Matrix Multiplication . . . . . . . . . . . 112
4.3 Change of Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.4 The Effect of a Change of Bases on Matrices . . . . . . . . . . . . . . . . . 120
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5 Haar Bases, Haar Wavelets, Hadamard Matrices 131
3
4 CONTENTS
5.1 Introduction to Signal Compression Using Haar Wavelets . . . . . . . . . . 131
5.2 Haar Matrices, Scaling Properties of Haar Wavelets . . . . . . . . . . . . . . 133
5.3 Kronecker Product Construction of Haar Matrices . . . . . . . . . . . . . . 138
5.4 Multiresolution Signal Analysis with Haar Bases . . . . . . . . . . . . . . . 140
5.5 Haar Transform for Digital Images . . . . . . . . . . . . . . . . . . . . . . . 142
5.6 Hadamard Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6 Direct Sums 155
6.1 Sums, Direct Sums, Direct Products . . . . . . . . . . . . . . . . . . . . . . 155
6.2 The Rank-Nullity Theorem; Grassmann’s Relation . . . . . . . . . . . . . . 165
6.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
7 Determinants 181
7.1 Permutations, Signature of a Permutation . . . . . . . . . . . . . . . . . . . 181
7.2 Alternating Multilinear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.3 Definition of a Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.4 Inverse Matrices and Determinants . . . . . . . . . . . . . . . . . . . . . . . 197
7.5 Systems of Linear Equations and Determinants . . . . . . . . . . . . . . . . 200
7.6 Determinant of a Linear Map . . . . . . . . . . . . . . . . . . . . . . . . . . 203
7.7 The Cayley–Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . 203
7.8 Permanents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
7.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
7.10 Further Readings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
7.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
8 Gaussian Elimination, LU, Cholesky, Echelon Form 219
8.1 Motivating Example: Curve Interpolation . . . . . . . . . . . . . . . . . . . 219
8.2 Gaussian Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
8.3 Elementary Matrices and Row Operations . . . . . . . . . . . . . . . . . . . 228
8.4 LU-Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8.5 P A = LU Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
8.6 Proof of Theorem 8.5 ~ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
8.7 Dealing with Roundoff Errors; Pivoting Strategies . . . . . . . . . . . . . . . 251
8.8 Gaussian Elimination of Tridiagonal Matrices . . . . . . . . . . . . . . . . . 252
8.9 SPD Matrices and the Cholesky Decomposition . . . . . . . . . . . . . . . . 254
8.10 Reduced Row Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
8.11 RREF, Free Variables, Homogeneous Systems . . . . . . . . . . . . . . . . . 269
8.12 Uniqueness of RREF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
8.13 Solving Linear Systems Using RREF . . . . . . . . . . . . . . . . . . . . . . 274
8.14 Elementary Matrices and Columns Operations . . . . . . . . . . . . . . . . 281
CONTENTS 5
8.15 Transvections and Dilatations ~ . . . . . . . . . . . . . . . . . . . . . . . . 282
8.16 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
8.17 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
9 Vector Norms and Matrix Norms 301
9.1 Normed Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
9.2 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
9.3 Subordinate Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
9.4 Inequalities Involving Subordinate Norms . . . . . . . . . . . . . . . . . . . 324
9.5 Condition Numbers of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 326
9.6 An Application of Norms: Inconsistent Linear Systems . . . . . . . . . . . . 335
9.7 Limits of Sequences and Series . . . . . . . . . . . . . . . . . . . . . . . . . 336
9.8 The Matrix Exponential . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
9.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
9.10 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
10 Iterative Methods for Solving Linear Systems 351
10.1 Convergence of Sequences of Vectors and Matrices . . . . . . . . . . . . . . 351
10.2 Convergence of Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . 354
10.3 Methods of Jacobi, Gauss–Seidel, and Relaxation . . . . . . . . . . . . . . . 356
10.4 Convergence of the Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
10.5 Convergence Methods for Tridiagonal Matrices . . . . . . . . . . . . . . . . 367
10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
10.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
11 The Dual Space and Duality 375
11.1 The Dual Space E
∗
and Linear Forms . . . . . . . . . . . . . . . . . . . . . 375
11.2 Pairing and Duality Between E and E
∗
. . . . . . . . . . . . . . . . . . . . 382
11.3 The Duality Theorem and Some Consequences . . . . . . . . . . . . . . . . 387
11.4 The Bidual and Canonical Pairings . . . . . . . . . . . . . . . . . . . . . . . 393
11.5 Hyperplanes and Linear Forms . . . . . . . . . . . . . . . . . . . . . . . . . 395
11.6 Transpose of a Linear Map and of a Matrix . . . . . . . . . . . . . . . . . . 396
11.7 Properties of the Double Transpose . . . . . . . . . . . . . . . . . . . . . . . 403
11.8 The Four Fundamental Subspaces . . . . . . . . . . . . . . . . . . . . . . . 405
11.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
11.10 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
12 Euclidean Spaces 413
12.1 Inner Products, Euclidean Spaces . . . . . . . . . . . . . . . . . . . . . . . . 413
12.2 Orthogonality and Duality in Euclidean Spaces . . . . . . . . . . . . . . . . 422
12.3 Adjoint of a Linear Map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
12.4 Existence and Construction of Orthonormal Bases . . . . . . . . . . . . . . 432
12.5 Linear Isometries (Orthogonal Transformations) . . . . . . . . . . . . . . . . 439
剩余1961页未读,继续阅读
资源评论
h1039442919
- 粉丝: 5
- 资源: 37
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功