没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论














V .k
0
/ D
1
X
tD0
h
ˇ
t
ln.1 ˛ˇ/ C ˇ
t
˛ ln k
t
i
D ln.1 ˛ˇ/
1
X
tD0
ˇ
t
C ˛
1
X
tD0
ˇ
t
h
1 .˛ˇ/
t
1 ˛ˇ
ln ˛ˇ C ˛
t
ln k
0
i
D
˛
1 ˛ˇ
ln k
0
C
ln.1 ˛ˇ/
1 ˇ
C ˛ ln.˛ˇ/
1
X
tD0
ˇ
t
1 ˛
.˛ˇ/
t
1 ˛
D
˛
1 ˛ˇ
ln k
0
C
ln.1 ˛ˇ/
1 ˇ
C
˛ˇ
.1 ˇ/.1 ˛ˇ/
ln.˛ˇ/
左边 D V .k/ D
˛
1 ˛ˇ
ln k C
ln.1 ˛ˇ/
1 ˇ
C
˛ˇ
.1 ˇ/.1 ˛ˇ/
ln.˛ˇ/
4
D
˛
1 ˛ˇ
ln k C A
右边 D max
n
u
f .k/ y
C ˇV .y/
o
利用 FOC 和包络条件求解得到 y D ˛ˇk
˛
,代入,求右边。
右边 D max
n
u
f .k/ y
C ˇV .y/
o
D u
f .k/ g.k/
C ˇ
h
˛
1 ˛ˇ
ln g.k/ C A
i
D ln.k
˛
˛ˇk
˛
/ C ˇ
h
˛
1 ˛ˇ
ln ˛ˇk
˛
C A
i
D ln.1 ˛ˇ/ C ˛ ln k C ˇ
h
˛
1 ˛ˇ
ln ˛ˇ C ˛ ln k
C k
i
D ˛ ln k C
˛ˇ
1 ˛ˇ
˛ ln k C ln.1 ˛ˇ/ C
˛ˇ
1 ˛ˇ
ln ˛ˇ C ˇA
D
˛
1 ˛ˇ
ln k C ln.1 ˛ˇ/ C
˛ˇ
1 ˛ˇ
ln ˛ˇ C ˇA
D
˛
1 ˛ˇ
ln k C .1 ˇ/A C ˇA
D
˛
1 ˛ˇ
ln k C A
所以,左边 D 右边,证毕。
Machine Learning Notes
机器学习 笔记
Progress is not Create by Contented People
作者:Mage
日期:February 4, 2018
Version: I

目 录
1 期望最大化算法 1
1.1 基础知识准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 数学期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.2 极大似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.3 凸函数与凹函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.4 詹森不等式(Jensen Inequation) . . . . . . . . . . . . . . . . . . 5
1.2 期望最大化算法理论推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1 三枚硬币问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 极大似然估计求解“三枚硬币问题” . . . . . . . . . . . . . . . . 6
1.2.3 期望最大化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.4 EM 算法求解“双硬币问题” . . . . . . . . . . . . . . . . . . . . 12
1.2.5 EM 算法求解“三硬币问题” . . . . . . . . . . . . . . . . . . . . 19
1.3 高斯混合模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.1 EM 算法求解高斯混合模型 . . . . . . . . . . . . . . . . . . . . . . 23
1.3.2 EM 算法求解高斯混合模型编程实现 . . . . . . . . . . . . . . . . 28
参考文献 37


MAGE
第 1 章 期望最大化算法
期望最大化(Expectation Maximization,EM)算法,是一种求解含有隐变量(Latent
Variable)的概率模型参数的极大似然估计(Maximum Likelihood Estimation),或称极
大后验概率估计。EM 算法并不是简单地将数据的输入输出格式固定,然后直接调用
工具包就可以使用,而是需要根据其思想基于具体问题设计相应具体算法,因此 EM
算法更可以说是一种框架或者方法论。
1.1 基础知识准备
在介绍 EM 算法的过程中,需要涉及一些基础的数学知识,比如数学期望、极大似然
估计、凹函数与凸函数、詹森不等式(Jensen Inequality)等。尽管这些知识比较简单,
但是作为 EM 算法的基础,这里还是需要叙述一下。
1.1.1 数学期望
在概率论和统计学中,数学期望(或均值,亦简称期望)是试验中每次可能结果的概
率乘以其结果的总和 [1]。是最基本的数学特征之一,反映了随机变量平均取值的大
小。
注: 期望值并不一定等同于常识中的“期望”,期望值可能与每一个结果都不相等。
换句话说,期望值是该变量输出值的平均数,且期望值并不一定包含在变量输出值的
集合里。
例如,掷一枚公平的六面骰子,其每次掷出“点数”的期望值是 3.5,计算如下:
E(X) = 1 ×
1
6
+ 2 ×
1
6
+ 3 ×
1
6
+ 4 ×
1
6
+ 5 ×
1
6
+ 6
=
1 + 2 + 3 + 4 + 5 + 6
6
= 3.5
(1.1)
如上所说,3.5 虽是每次掷出“点数”的期望值,但却不属于可能结果中的任何
一个(即不包含在变量输出值的集合里),因为一枚公平的六面骰子不可能掷出 3.5
的点数。
随机变量可以分为离散型随机变量与连续型随机变量,由随机变量的取值范围
(取值)所确定。
随机变量取值只能取离散型的自然数,就是离散型随机变量。
剩余40页未读,继续阅读
资源评论

- ning8ning2022-10-11#完美解决问题
瞭望清晨
- 粉丝: 38
- 资源: 26

上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
安全验证
文档复制为VIP权益,开通VIP直接复制
