8. 熵及最大熵模型1
需积分: 0 104 浏览量
2022-08-03
21:50:07
上传
评论
收藏 3.28MB PDF 举报
1.什么是熵
1.1术语定义
2.最大熵模型
2.1无偏原则
2.2最大熵模型的表示
2.3对偶问题极大化的指数解
2.4最大熵模型的极大似然估计
3.最优化算法
3.1改进的迭代尺度法（IIS)
为了更好的理解本文，需要了解的概率必备知识有：
1.大写字母X表示随机变量，小写字母x表示随机变量X的某个具体
的取值；
2.P(X)表示随机变量X的概率分布，P(X,Y)表示随机变量X、Y的联
合概率分布，P(Y|X)表示已知随机变量X的情况下随机变量Y的条
件概率分布；
3.p(X=x)表示随机变量X取某个具体值的概率，简记为p(x)；
4.p(X=x,Y=y)表示联合概率，简记为p(x,y)，p(Y=y|X=x)
表示条件概率，简记为p(y|x)，且有：p(x,y)=p(x)*p(y|x)。
需要了解的有关函数求导、求极值的知识点有：
5.如果函数y=f(x)在[a,b]上连续，且其在(a,b)上可导，如果其导
数f’(x)>0，则代表函数f(x)在[a,b]上单调递增，否则单调递减；
如果函数的二阶导f''(x)>0，则函数在[a,b]上是凹的，反之，如
果二阶导f''(x)<0，则函数在[a,b]上是凸的。
剩余13页未读，继续阅读
药罐子也有未来
- 粉丝: 18
- 资源: 300
评论0