没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
![application/pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/release/download_crawler_static/88890884/bg1.jpg)
Advanced Probability Theory
Bing-Yi JING
HKUST
majing@ust.hk
July 4, 2015
![](https://csdnimg.cn/release/download_crawler_static/88890884/bg2.jpg)
Contents
1 Set Theory 1
1.1 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Basic set operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Operations of sequence of sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Indicator functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 Semi-algebras, Algebras, and σ-algebras . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.6 Generated classes (Minimal classes) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.7 Monotone class (m-class), π-class, and λ-class . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.8 The Monotone Class Theorem (MCT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.9 Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.10 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2 Measure Theory 15
2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Properties of measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3 Probability measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 Some examples of measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5 Extension of set functions (or measures) from semialgebras to algebras . . . . . . . . . . . 19
2.6 Outer measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.7 Extension of measures from semialgebras to σ-algebras . . . . . . . . . . . . . . . . . . . . 24
2.8 Completion of a measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.9 Construction of measures on a σ-algebra A . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.10 Radon-Nikodym Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.11 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Random Variables 42
3.1 Mappings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Measurable mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3 Random Variables (Vectors) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.4 Construction of random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.5 Approximations of r.v. by simple r.v.s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.6 σ-algebra generated by random variables. . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.7 Distributions and induced distribution functions . . . . . . . . . . . . . . . . . . . . . . . 52
3.8 Generating random variables with prescribed distributions . . . . . . . . . . . . . . . . . . 53
3.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4 Expectation and Integration 58
i
![](https://csdnimg.cn/release/download_crawler_static/88890884/bg3.jpg)
4.1 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.2 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3 Measure-theoretic and probabilistic languages . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.4 How to compute expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.5 Relation between expectation and tail probability . . . . . . . . . . . . . . . . . . . . . . . 79
4.6 Moments and Moment inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5 Independence 87
5.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.2 How to check independence? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.3 Functions of independent r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.4 Borel-Cantelli Lemma and Kolmogorov 0 − 1 Law . . . . . . . . . . . . . . . . . . . . . . 94
5.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
6 Convergence Concepts 99
6.1 Modes of convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
6.2 Cauchy Criterion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.3 Relationships between modes of convergence . . . . . . . . . . . . . . . . . . . . . . . . . . 102
6.4 Partial converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.5 Convergence of moments; uniform integrability . . . . . . . . . . . . . . . . . . . . . . . . 108
6.6 Some closed operations of convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.7 Simple limit theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.8 Fatou’s Lemma Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.9 Summary: relationships amongst four modes of converges . . . . . . . . . . . . . . . . . . 118
6.10 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
7 Weak Law of Large Numbers 122
7.1 Equivalent sequences; truncation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
7.2 Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.3 Classical forms of the WLLN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
8 Strong Convergence 129
8.1 Some maximal inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
8.2 The a.s. convergence of series; three-series theorem . . . . . . . . . . . . . . . . . . . . . . 132
8.3 Strong Laws of Large Numbers (SLLN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
8.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
9 Weak convergence 148
9.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
9.2 Equivalent definitions of weak convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
9.3 Helly’s selection theorem and tightness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
9.4 Polya Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
9.5 Additional topic: Stable convergence and mixing* . . . . . . . . . . . . . . . . . . . . . . . 154
9.6 Some useful theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
9.7 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
ii
![](https://csdnimg.cn/release/download_crawler_static/88890884/bg4.jpg)
9.8 Additional topic: Stable convergence and mixing* . . . . . . . . . . . . . . . . . . . . . . . 157
9.9 Some useful theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
9.10 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
10 Characteristic Functions 160
10.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
10.2 Some examples of characteristic functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
10.3 Definition and some properties of c.f.s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
10.4 Inversion formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
10.5 Levy Continuity Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
10.6 Moments of r.v.s and derivatives of their c.f.s . . . . . . . . . . . . . . . . . . . . . . . . . 171
10.7 When is a function a c.f.? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
10.8 Esseen’s Smoothing Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
10.9 Characteristic functions and smoothness condition . . . . . . . . . . . . . . . . . . . . . . 180
10.10Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
11 Central Limit Theorems and Related Expansions 184
11.1 Central Limit Theorems (CLT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
11.2 Uniform Berry-Esseen Bounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
11.3 Non-Uniform Berry-Esseen Bounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
11.4 Edgeworth Expansions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
11.5 Non-uniform Edgeworth expansions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
11.6 Large Deviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
11.7 Saddlepoint Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
11.8 Appendix: Some useful elementary inequalities . . . . . . . . . . . . . . . . . . . . . . . . 210
11.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
12 Poisson Approximations 213
12.1 Poisson Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
12.2 Poisson Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
12.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
13 Infinitely divisible distributions 216
13.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
13.2 Some examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
13.3 Some properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
13.4 Levy-Khintchine representation of infinitely divisible c.f.s . . . . . . . . . . . . . . . . . . 218
13.5 Several examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
13.6 Levy formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
13.7 Kolmogorov formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
13.8 Relationship between the sum of independent r.v. and i.d. . . . . . . . . . . . . . . . . . . 225
13.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
iii
![](https://csdnimg.cn/release/download_crawler_static/88890884/bg5.jpg)
Notation and abbreviations
a.s. almost surely
d.f. distribution function
i.i.d. independent and identically distributed
i.o. infinitely often
w.r.t. with respect to
W.L.O.G. without loss of generality
R the set of real numbers
I
A
or I{A} indicator function of the set A
end of a proof
Unless otherwise specified, all limits are taken as n → ∞.
a
n
= O(b
n
) ⇐⇒ |a
n
/b
n
| ≤ C ⇐⇒ lim sup |a
n
/b
n
| < ∞
a
n
= o(b
n
) ⇐⇒ a
n
/b
n
→ 0
a
n
∼ b
n
⇐⇒ a
n
/b
n
→ 1
iv
剩余230页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/5f77fcfa7681494f8091b83de974139b_xiaobaigongzi.jpg!1)
xiaobaigongzi
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)