概率密度估计与非参数回归.pdf
需积分: 13 162 浏览量
2020-01-01
15:48:13
上传
评论 1
收藏 210KB PDF 举报
概率密度估计与非参数回归
曾焰
版本 1.0，最后修订于 2017-11-05
摘要
陈希孺等 [1] 第六章的内容摘要。
1 概率密度估计
1.1 几种重要的密度估计方法
1. 直方图法。这个方法可描述如下：假设随机变量 X 有密度 f ，并有 X 的独立同分布样本 X
1
，
· · · ，X
n
。选择一个适当的正数 h，把全直线分为一些长为 h 的区间。任取这些区间之一，记为 I。对
x ∈ I，我们有
f(x) ≈
P (X ∈ I)
h
≈
n
i=1
1
{X
i
∈I}
n
·
1
h
� (1.1)
这一方法重要的是 h 的选择。h 太大了，平均化的作用突出了，而淹没了密度的细节部分。太小
了，则受随机性影响太大，而产生极不规则的形状。h 的选择无现成规则可循。实际操作中，我们可能
需要取一些不等长的区间，这样的直方图估计称为“Data-based”的直方图估计。
直方图估计的优点是简单易行，缺点是它不是连续函数（这可以通过适当地修匀来解决），且从统
计角度看一般说效率较低。例如，在这一方法下，每一区间中心部分密度估计较准，而边缘部分则较差。
2. Rosenblatt 法。为克服直方图法的一个缺点——对每个区间边缘部分密度值的估计较差，
Rosenblatt 在 1955 年提出了一个简单的改进。指定一个正数 h，对每个 x，定义 I
x
=
x −
h
2
, x +
h
2
，
并对密度函数 f 作如下估计
f
n
(x)
∆
= f
n
(x; X
1
, · · · , X
n
) =
n
i=1
1
{X
i
∈I
x
}
n
·
1
h
(1.2)
Rosenblatt 法与直方图法不同之处仅在于，它事先不把分割区间定下来，而让区间随着要估计之点 x
跑，使 x 始终处在区间之中心位置，而获致较好的效果。理论上可以证明，从估计量与被估计量接近
的数量级上看，Rosenblatt 方法确实优于直方图法。
3. Parzen 的核估计。直观上可以设想：为估计 f (x)，与 x 靠近的样本，所起作用似应比远离 x
的样本要大些。这些在 Parzen 于 1962 年提出的核估计方法中都得到了体现。为介绍 Parzen 的思想，
我们先将 (1.2) 式变换一个形式，引进一个函数
W (x) = I
[
−
1
2
,
1
2
]
(x)�
1
剩余10页未读，继续阅读
资源评论
