没有合适的资源?快使用搜索试试~ 我知道了~
最大熵笔记Report on MaxEnt Model

温馨提示


试读
33页
The maxent principle Parametric Form Relation to Maximum Likelihood Computing the Parameters λ* The Improved Iterative Scaling Algorithm
资源推荐
资源详情
资源评论














1
Report
on
MaxEnt Modeling

2
Outline
•
Review
•
The maxent principle
•
Parametric Form
•
Relation to Maximum Likelihood
•
Computing the Parameters λ
*
•
The Improved Iterative Scaling Algorithm

3
Review
•
Feature:
–
Is a binary-value function of (x, y)
–
E.g., in the training sample, if April is the word
following in, then the translation of in is en with
frequency 9/10
•
Expected value of f:
yx
yxfyxpfp
,
,,
~~
otherwise 0
follows and if 1
,
inApr ileny
yxf

4
Review
•
The expected value of f with respect to the model
p(y | x) is,
•
Remarks
yx
yxfxypxpfp
,
,|
~
sample. trainingin the ofon distributi empirical theis
~
, where xxp
ii
ii
ii
yx
iiiii
yx
iiiii
yx
iiii
yxfxpxyp
yxfxpxyp
yxfyxpfp
,
,
,
,
~
|
,|
,,)(

5
Review
•
We constrain this expected value to be the same
as the expected value of f in the training sample.
That is, we require
_We call this requirement a constraint equation or
simply a constraint.
•
Finally, we get
fpfp
~
yxyx
yxfyxpyxfxypxp
,,
,,
~
,|
~
剩余32页未读,继续阅读
资源评论

- 你大哥不会起名字2013-12-23还行,就是要分太多了,也没有例子
- 时间会戳穿你的谎言2013-12-23貌似很高深的样子,得仔细看看了!
- fenlinwu2013-04-12这个讲解最大熵还是不错的,但是没有出例子,没有另外一个讲得好,我觉得
- sjzlinker2013-03-23需要的分数太多啦,内容一般般
- evilcrack2011-10-31十分不错,对其中的最大熵求解的GIS和IIS方法也做了详尽的描述。感谢!

fridayrain
- 粉丝: 1
- 资源: 5
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


安全验证
文档复制为VIP权益,开通VIP直接复制
