没有合适的资源?快使用搜索试试~ 我知道了~
模式识别第二版课后习题答案.pdf
5星 · 超过95%的资源 需积分: 40 27 下载量 53 浏览量
2021-12-21
11:22:20
上传
评论 3
收藏 306KB PDF 举报
温馨提示
试读
22页
高清PDF原版
资源详情
资源评论
资源推荐
模式识别(第二版)习题解答
§1 绪论
略
§2 贝叶斯决策理论
• 2.1 如果只知道各类的先验概率,最小错误率贝叶斯决策规则应如何表示?
解:设一个有C类,每一类的先验概率为P (w
i
),i = 1, ..., C。此时最小错误率贝叶斯
决策规则为:如果i
∗
= max
i
P (w
i
),则x ∈ w
i
。
• 2.2 利用概率论中的乘法定理和全概率公式证明贝叶斯公式(教材中下面的公式有错
误)
P (w
i
|x) =
p(x|w
i
)P (w
i
)
p(x)
.
证明:
P (w
i
|x) =
P (w
i
, x)
p(x)
=
p(x|w
i
)P (w
i
)
p(x)
• 2.3 证明:在两类情况下P (w
i
|x) + P (w
2
|x) = 1。
证明:
P (w
1
|x) + P (w
2
|x) =
P (w
1
, x)
p(x)
+
P (w
2
, x)
p(x)
=
P (w
1
, x) + P (w
2
, x)
p(x)
=
p(x)
p(x)
= 1
• 2.4 分别写出在以下两种情况
1. P (x|w
1
) = P (x|w
2
)
2. P (w
1
) = P (w
2
)
下的最小错误率贝叶斯决策规则。
解: 当P (x|w
1
) = P (x|w
2
)时,如果P (w
1
) > P (w
2
),则x ∈ w
1
,否则x ∈ w
2
。
当P (w
1
) = P (w
2
)时,如果P (x|w
1
) > P (x|w
2
),则x ∈ w
1
,否则x ∈ w
2
。
• 2.5
1. 对c类情况推广最小错误率率贝叶斯决策规则;
2. 指出此时使错误率最小等价于后验概率最大,即P (w
i
|x) > P (w
j
|x) 对一切j = i
成立时,x ∈ w
i
。
2
模式识别(第二版)习题解答
解:对于c类情况,最小错误率贝叶斯决策规则为:
如果 P (w
i
|x) = max
j=1,...,c
P (w
j
|x),则x ∈ w
i
。利用贝叶斯定理可以将其写成先验概率和
类条件概率相联系的形式,即
如果 p(x|w
i
)P (w
i
) = max
j=1,...,c
p(x|w
j
)P (w
j
),则x ∈ w
i
。
• 2.6 对两类问题,证明最小风险贝叶斯决策规则可表示为,若
p(x|w
1
)
p(x|w
2
)
>
(λ
12
− λ
22
)P (w
2
)
(λ
21
− λ
11
)P (w
1
)
,
则x ∈ w
1
,反之则属于w
2
。
解:计算条件风险
R(α
1
|x) =
2
j=1
λ
1j
P (w
j
|x)
= λ
11
P (w
1
|x) + λ
12
P (w
2
|x)
R(α
2
|x) =
2
j=1
λ
2j
P (w
j
|x)
= λ
21
P (w
1
|x) + λ
22
P (w
2
|x)
如果R(α
1
|x) < R(α
2
|x),则x ∈ w
1
。
λ
11
P (w
1
|x) + λ
12
P (w
2
|x) < λ
21
P (w
1
|x) + λ
22
P (w
2
|x)
(λ
21
− λ
11
)P (w
1
|x) > (λ
12
− λ
22
)P (w
2
|x)
(λ
21
− λ
11
)P (w
1
)p(x|w
1
) > (λ
12
− λ
22
)P (w
2
)p(x|w
2
)
p(x|w
1
)
p(x|w
2
)
>
(λ
12
− λ
22
)P (w
2
)
(λ
21
− λ
11
)P (w
1
)
所以,如果
p(x|w
1
)
p(x|w
2
)
>
(λ
12
− λ
22
)P (w
2
)
(λ
21
− λ
11
)P (w
1
)
,则x ∈ w
1
。反之则x ∈ w
2
。
• 2.7 若λ
11
= λ
22
= 0, λ
12
= λ
21
,证明此时最小最大决策面是来自两类的错误率相等。
解: 最小最大决策时满足
(λ
11
− λ
22
) + (λ
21
− λ
11
)
R
2
p(x|w
1
)dx − (λ
12
− λ
22
)
R
1
p(x|w
2
)dx = 0
容易得到
R
1
p(x|w
2
)dx =
R
2
p(x|w
1
)dx
所以此时最小最大决策面使得P
1
(e) = P
2
(e)
• 2.8 对于同一个决策规则判别函数可定义成不同形式,从而有不同的决策面方程,指出
决策区域是不变的。
3
模式识别(第二版)习题解答
解: 对于同一决策规则(如最小错误率贝叶斯决策规则),它的判别函数可以是j
∗
=
max
j=1,...,c
P (w
j
|x),则x ∈ w
j
∗
。另外一种形式为j
∗
= max
j=1,...,c
p(x|w
j
)P (w
j
),则x ∈ w
j
∗
。
考虑两类问题的分类决策面为:P (w
1
|x) = P (w
2
|x),与p(x|w
1
)P (w
1
) = p(x|w
2
)P (w
2
)
是相同的。
• 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
• 2.10 随机变量l(x)定义为l(x) =
p(x|w
1
)
p(x|w
2
)
,l(x)又称为似然比,试证明
– (1) E{l
n
(x)|w
1
} = E{l
n+1
(x)|w
2
}
– (2) E{l(x)|w
2
} = 1
– (3) E{l(x)|w
1
} − E
2
{l(x)|w
2
} = var{l(x)|w
2
}(教材中题目有问题)
证明:对于(1),E{l
n
(x)|w
1
} =
l
n
(x)p(x|w
1
)dx =
(p(x|w
1
))
n+1
(p(x|w
2
))
n
dx 又E{l
n+1
(x)|w
2
} =
l
n+1
p(x|w
2
)dx =
(p(x|w
1
))
n+1
(p(x|w
2
))
n
dx 所以,E{l
n
(x)|w
1
} = E{l
n+1
(x)|w
2
}
对于(2),E{l(x)|w
2
} =
l(x)p(x|w
2
)dx =
p(x|w
1
)dx = 1
对于(3),E{l(x)|w
1
} − E
2
{l(x)|w
2
} = E{l
2
(x)|w
2
} − E
2
{l(x)|w
2
} = var{l(x)|w
2
}
• 2.11 x
j
(j = 1, 2, ..., n)为n个独立随机变量,有E[x
j
|w
i
] = ijη,var[x
j
|w
i
] = i
2
j
2
σ
2
,计
算在λ
11
= λ
22
= 0 及λ
12
= λ
21
= 1的情况下,由贝叶斯决策引起的错误率。(中心极限
定理)
解: 在0 − 1损失下,最小风险贝叶斯决策与最小错误率贝叶斯决策等价。
• 2.12 写出离散形式的贝叶斯公式。
解:
P (w
i
|x) =
P (x|w
i
)P (x)
c
j=1
P (x|w
i
)P (w
i
)
• 2.13 把连续情况的最小错误率贝叶斯决策推广到离散情况,并写出其判别函数。
• 2.14 写出离散情况条件风险R(a
i
|x)的定义,并指出其决策规则。
解:
R(a
i
|x) =
c
j=1
λ
ij
P (w
j
|x)
=
c
j=1
λ
ij
p(x|w
j
)P (w
j
)////omit the same part p(x)
R(a
k
|x) = min
j=1,2,...,N
R(a
j
|x),则a
k
就是最小风险贝叶斯决策。
• 2.15 证明多元正态分布的等密度点轨迹是一个超椭球面,且其主轴方向由Σ的特征向量
决定,轴长度由Σ的特征值决定。
证明:多元正态分布的等密度点满足:x
T
Σ
−1
x = C,C为常数。
4
模式识别(第二版)习题解答
• 2.16 证明M ahalanobis距离r符合距离定义三定理,即
– (1) r(a, b) = r(b, a)
– (2) 当且仅当a = b时,r(a, b) = 0
– (3) r(a, c) ≤ r(a, b) + r(b, c)
证明:
(1) r(a, b) = (a − b)
T
Σ
−1
(a − b) = (b − a)
T
Σ
−1
(b − a) = r(b, a)
(2) Σ为半正定矩阵所以r(a, b) = (a −b)
T
Σ
−1
(a −b) ≥ 0,只有当a = b时,才有r(a, b) =
0。
(3) Σ
−1
可对角化,Σ
−1
= P ΛP
T
• 2.17 若将Σ
−1
矩阵写为:Σ
−1
=
h
11
h
12
··· h
1d
h
12
h
22
··· h
2d
.
.
.
.
.
.
.
.
.
.
.
.
h
1d
h
2d
··· h
dd
,证明Mahalanobis距离平方为
γ
2
=
d
i=1
d
j=1
h
ij
(x
i
− u
i
)(x
j
− u
j
)
证明:
γ
2
= (x − u)
T
h
11
h
12
··· h
1d
h
12
h
22
··· h
2d
.
.
.
.
.
.
.
.
.
.
.
.
h
1d
h
2d
··· h
dd
(x − u)
=
d
i=1
d
j=1
h
ij
(x
i
− u
i
)(x
j
− u
j
)
• 2.18 分别对于d = 2, d = 3证明对应与Mahalanobis距离γ的超椭球体积是V = V
d
|Σ|
1
2
γ
d
• 2.19 假定x和m是两个随机变量,并设在给定m时,x的条件密度为
p(x|m) = (2π)
1
2
σ
−1
exp
−
1
2
(x − m)
2
/σ
2
再假设m的边缘分布是正态分布,期望值是m
0
,方差是σ
2
m
,证明
p(m|x) =
(σ
3
+ σ
m
)
1
2
(2π)
1
2
σσ
m
exp
−
1
2
σ
2
+ σ
2
m
σ
2
σ
2
m
m −
σ
2
m
x + m
0
σ
2
σ
2
+ σ
2
m
2
5
剩余21页未读,继续阅读
Sunny.UCAS
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论5