概率与统计机器学习中常用的不等式机器证明
需积分: 50 192 浏览量
2016-04-20
19:26:01
上传
评论 2
收藏 242KB PDF 举报
LeakyCauldron 2016.04.20
1
统计与机器学习中常用的不等式
1. Chebyshev 不等式
Chebyshev 不等式：一个随机变量的取值偏离其期望的误差存在概率上界。
即：
2
( )
( ( ) )
Var X
P X E X
证明：
2
2
2
2
2
2
2
( )= ( )
( )
( )
1
( ) ( )
( )
( )
X a
X a
P X a p x dx
x a
p x dx
x a p x dx
E X a
Var X
根据切比雪夫不等式可以进一步推导出大数定理，而大数定理是许多重要结
论的基本不等式。
2. Markov 不等式
Markov 不等式：一个非负随机变量取值大于某个正常数的概率存在上界，即：
( )
( ) , 0, 0
E X
P X a a X
a
证明：考虑随机变量
( )I X
：
1
( )
0
if X a
I X
elsewise
资源评论
