6统计决策与贝叶斯估计.pptx

统计决策与贝叶斯估计 统计决策是指在样本空间和分布族的基础上，根据样本信息和损失函数，选择最佳的决策函数，以使得风险函数最小。统计决策的三个要素是样本空间和分布族、决策空间和损失函数。 样本空间和分布族是指总体X的分布函数为F(x; θ)，其中θ是未知参数，若设X1,…, Xn是来自总体X的一个样本，则样本所有可能值组成的集合称为样本空间，记为X。样本的概率分布族则称记联合分布函数为F(x; θ)。 决策空间是指对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。 损失函数是指统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来称为损失函数的二元函数和决策引入一个依赖参数。常见的损失函数有线性损失函数、绝对损失函数、平方损失函数、凸损失函数和多元二次损失函数等。 统计决策函数是指定义在样本空间上 X，取值于决策空间 A 内的函数 d(x)，称为统计决策函数，简称决策函数。决策函数就是一个行动方案，如果用表达式处理，d(x)= d(x1,x2,…xn) 本质上就是一个统计量。 风险函数是指决策函数 d(X) ，完全取决于样本，损失函数 L(θ, d) 也是样本 X 的函数，当样本取不同的值 x 时，决策 d(X) 可能不同，所以损失函数值 L(θ, d) 也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数。 优良性准则是指定义 3.3 设 d1, d2 是统计问题中的两个决策函数，若其风险函数满足不等式 R(θ, d1) ≤ R(θ, d2)，则称决策函数 d1 优于 d2。 一致最小风险决策函数是指定义 3.4 设 D={d(X)} 是一切定义在样本空间 X 上，取值于决策空间 A 上的决策函数全体，若存在一个决策函数 d*(X)，使对任意一个 d(X) 都有 R(θ, d*) ≤ R(θ, d)，则称 d*(X) 为一致最小风险决策函数，或一致最优决策函数。 贝叶斯估计是指在总体分布下的参数估计问题中，使用贝叶斯公式来计算参数的后验分布，并由此获得参数的贝叶斯估计。贝叶斯估计的优点是可以处理复杂的模型和prior分布，能够给出参数的interval估计和credible interval等。 风险函数在贝叶斯估计中的应用是指使用风险函数来评价贝叶斯估计的好坏，选择合适的损失函数和prior分布，来使得风险函数最小化。