没有合适的资源?快使用搜索试试~ 我知道了~
经验贝叶斯估计方法,贝叶斯统计推断
5星 · 超过95%的资源 需积分: 45 118 下载量 12 浏览量
2009-11-22
15:31:04
上传
评论 1
收藏 220KB PPT 举报
温馨提示
试读
17页
详细介绍经验贝叶斯估计方法,使用贝叶斯方法的一个先决条件是知道先验分布,而在实际问题中,这一条件常常是不满足的。因为,即使在一个问题中,人们对参数取什么值可能事先(抽样以前)有一些知识,但这种知识往往没有确切到能用一个概率分布来描述的程度。
资源推荐
资源详情
资源评论
第三讲 经验贝叶斯统计方法
第三讲 经验贝叶斯统计方法
一
、经验贝叶斯统计方法的基本思想与定义(
、经验贝叶斯统计方法的基本思想与定义(
Empirical Bayes
Empirical Bayes
)
)
使用贝叶斯方法的一个先决条件是知道先验分布,而在实际问题
中,这一条件常常是不满足的。因为,即使在一个问题中,人们对参
数取什么值可能事先(抽样以前)有一些知识,但这种知识往往没有
确切到能用一个概率分布来描述的程度。
作为探索性解决没有先验分布的统计问题贝叶斯解法, 1955 年
H .Robbins 提出经验贝叶斯方法,简称 EB 方法。
EB 方法的基本出发点是:承认有先验分布存在,但不是用任何带
主观色彩的方法来确定它, 而要充分利用积累数据中所包含的关于先
验分布的信息, 以作出适当的统计问题解,使其性能尽可能接近真正
的贝叶斯解。
EB 方法在性质上是古典学派与贝叶斯学派的一种折衷。 它一方
面承认先验分布存在, 并以贝叶斯准则作为衡量统计方法的优良准则,
这一点属于贝叶斯学派的范畴; 另一方面,它又不主张用所谓主观的
方法确定先验分布,而主张用古典学派的观点去处理这一问题,在这
方面又使它接近古典学派。
尽管这样, EB 方法得到象 Neyman 这样伟大统计学家地高度民
主评价,但它并未解决统计两大学派的纷争。
下面以统计估计问题说明 EB 方法的基本思想
设有样本 ,其分布为 ,参数 的先验分布为 ,
X
)(
xf
)(
q
则 的联合分布为 。若先验分布 已
),(
X
)()(),(
qxfxg
)(
q
),(
xg
知,则 也已知,但只观察了 ,要由它推断 。这时贝叶斯
X
方法给出了统计问题的解;若先验分布 未知,则 的联合
)(
q
),(
X
分布 也未知,这时,从贝叶斯统计的观点,由
)()(),(
qxfxg
推断 的问题无法解。 EB 方法要求上述问题在过去一段时间曾经
X
遇到过多次,积累了一些数据。具体地说,在过去这个问题已遇到过
次,第 次时, 的观测值为 , 。我们可利用的
n
i
X
i
x
ni ,,2,1
资料只有 ,称它们为历史样本,它们是历史上积累起
n
xxx ,,
21
来的。假定 独立同分布,其公共分布为 的边际分布
n
xxx ,,
21
X
dqxfdxgxm
)()(),()(
由于 未知, 也未知,但是 作为从
)(
q
)(xm
n
xxx ,,
21
)(xm
中抽出来的独立同分布的样本,其中一定包含了 的信息,而由
)(xm
上述 的计算公式,知 与先验分布无关。于是间接地在历
史样本 中包含了先验分布 的信息,这些信息就
可以被用来构造适当的 估计,使之尽可能的接近 ( 已知)
的贝叶斯解,这就是 EB 方法的基本思想。
)(xm )(xm
n
xxx ,,
21
)(
q
)(
q
定义:设 相互独立,且样本
),(,,,,
21
xxxx
n
xxxx
n
,,,,
21
同分布,其分布式为 ,在 计算式中 已知,
)(xm )(xm
)(
xf
)(
q
未知。则 的任一形如 的估计称为 EB 估计。
),,,;(
21 nn
xxxx
注意:在此 是当前为求解问题观测的样本,与历史样本
x
n
xxx ,,,
21
相对,称为当前样本。
),,,;(
21 nn
xxxx
这个形式表示在对 估计时
不仅利用了当前样本 ,还利用了历史样本 。至于如何利
x
n
xxx ,,,
21
用这些数据提供的信息以构造出适当的 ,则要根据具
),,,;(
21 nn
xxxx
体问题的特点去处理。
二
、构造经验贝叶斯估计的
、构造经验贝叶斯估计的
Robbins
Robbins
方法及示例
方法及示例
1
、
、
Robbins
Robbins
方法
方法
此法的基本思想是:在有些情况下,参数 的确切贝叶斯估计,只是
通过 的边际分布 而依赖与先验分布 。这时,可以通过历
史样本 对 做一个估计,用其代替贝叶斯估计中
)(xm
X
)(
q
)(xm
n
xxx ,,,
21
)(xm
从而得到一个与 有关的估计量。这样构造出来的贝叶斯
估计称为 Robbins 估计。
n
xxx ,,,
21
例 1.11 设总体服从 Poisson 分布,即概率分布为
,1,0
!
)(
xe
x
xf
x
损失函数选
2
))(())(,( xxL
, 先验分布未知,样本的一
个实现为 ,试求参数 的 EB 估计。
x
解:由平方损失函数下点估计的贝叶斯解知 的贝叶斯估计为
)(
)(
!
)(
0
xm
dq
x
e
x
x
q
其中
dq
x
e
xm
x
)(
!
)(
0
剩余16页未读,继续阅读
wendijian
- 粉丝: 1
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
- 1
- 2
前往页