chap11-概率图模型1
需积分: 0 165 浏览量
2022-08-03
12:26:32
上传
评论
收藏 678KB PDF 举报
第 11 章 概率图模型
概率论只不过是把常识归纳为计算问题。
— 皮诶尔·西蒙·拉普拉斯
概率图模型（Probabilistic Graphical Model，PGM），简称图模型（Graphical
Model，GM），是指一种用图结构来描述多元随机变量之间条件独立关系的概
率模型，从而给研究高维空间中的概率模型带来了很大的便捷性。
对于一个 K 维随机向量 X = [X
1
, X
2
, ··· , X
K
]
T
，其联合概率为高维空间
中的分布，一般难以直接建模。假设每个变量为离散变量并有 m 个取值，在不
作任何独立假设条件下，则需要 m
K
− 1 个参数才能表示其概率分布。当 m =
2, K = 100 时，参数量约为 10
30
，远远超出了目前计算机的存储能力。
一种有效减少参数量的方法是独立性假设。K 维随机向量的联合概率分解
为 K 个条件概率的乘积，
p(x) , P (X = x) (11.1)
= p(x
1
)p(x
2
|x
1
) ···p(x
K
|x
1
, ··· , x
K−1
), (11.2)
=
K
k=1
p(x
k
|x
1
, ··· , x
k−1
), (11.3)
其中 x
k
表示变量 X
k
的取值。如果某些变量之间存在条件独立，其参数量就可
以大幅减少。
假设有四个二值变量X
1
, X
2
, X
3
, X
4
，在不知道这几个变量依赖关系的情况
下，可以用一个联合概率表来记录每一种取值的概率 p(x
1:4
)，共需要 2
4
−1 = 15
个参数。假设在已知 X
1
时，X
2
和 X
3
独立，即有
p(x
2
|x
1
, x
3
) = p(x
2
|x
1
), (11.4)
p(x
3
|x
1
, x
2
) = p(x
3
|x
1
). (11.5)
剩余32页未读，继续阅读
普通网友
- 粉丝: 16
- 资源: 319
评论0