机器学习算法推导 第八章 指数族分布1
需积分: 0 179 浏览量
2022-08-04
15:13:05
上传
评论
收藏 9.61MB PDF 举报
为了解决积分难计算的问题，⼀个思路是能否绕过积分呢？我们知道存在如下关系
在已知似然函数的情况下，选取什么样的先验分布能够使得后验分布与先验分布具有相同的数学形式呢？
如果存在这样的⼀个先验分布，那么上⼀时刻的输出可以作为下⼀时刻计算的先验分布，那么这样整个计算就可
以形成闭环。也就是说如果后验分布和先验分布是同分布，此时我们称先验分布和后验分布是共轭分布，且称先
验分布是似然函数的共轭先验。⽐如⾼斯分布家族在⾼斯似然函数下与其⾃身共轭，也叫⾃共轭。
共轭先验的好处主要在于代数上的⽅便性，可以直接给出后验分布的封闭形式，否则的话只能做数值计算。共轭
先验也有助于活的关于似然函数如何更新先验分布的直观印象。
⽆信息先验是指先验分布尽可能对对后验分布产⽣⼩的影响，即尽可能的随机性，其实就是最⼤熵原理。
⼋、
指数
族
分布
IExponentialF amigDistributi.nl
-
背景
充分
统计
量
以
1
7
)
⼆
hhpl
忤
化
)
-
A
1
7
"
他
⽐
1
0
)
𣏴
形成
1
0
⽐
⼀
川
为
参数
向量
,
XERP
1
-
1
⽉
⽐
1
0
)
⽐配
分
函数
业
A
(
7
)
:
hgparttnf-g.PL
ㄨ
1
0
1
⼆胡
⽐
1
0
)
⼜
是
归
化
因⼦
,
也
叫
配
分
函数
,
2
我
应
⼼
⽐
灿
:
炁
分
焦
计量
pcxlgke xp .ly
⼼
城
们
㶭
↳
以
⾼
斯
分布
为
何
,
我们
可
上
⼆
⽖
⼆⽉
⽐
1715
唙
州
》
=
2
1
0
以上
(
Ěì
A
以
⼆
192
常⻅的
:
点
砂
'
i
M
)
叫作
lgpartitonfunctim
䲜
湖
怖
|
统
试
即
表示
对
样本
的
统计
值
1
⼀项
分布
⼀
多项式
分布
I
"
充分
"
:
通过
上⾯
两个
统计
值
,
我们
可以
求得
均值
和
⽅差
,
故⽽
可
求
得
⾼
斯
分布
表达式
。
泊松分布
Beta
这种
性质
对于
onhneleamig
特别
有⽤
,
不⽤
再
存储
每个
样本
了
。
𡆇
ālii
:
鬣
𧅤
煍
"
I.
䆐
𠠬
-_-
线性
组合
nix
⼴义
线性
模型
中
liwkfunctioni
激活
函数
的
反
函数
重
鞻
概率
图
模型
䨻
䰞
"
以
指数
族
分布
下
㼂
管
器
戀
!
变
分
推断
后⾯
介绍
评论0