CS 229 – Machine Learning https://stanford.edu/~shervine
VIP Cheatsheet: Unsupervised Learning
Afshine Amidi and Shervine Amidi
October 13, 2018
翻译: 朱小虎
无无无监监监督督督学学学习习习导导导引引引
r 动动动机机机 – 无监督学习的目标是找到在未标记数据{x
(1)
,...,x
(m)
} 中的隐含模式。
r Jensen 不不不等等等式式式 – 令f 为一个凸函数而X 为一个随机变量。我们有下列不等式:
E[f(X)] > f(E[X])
E-M 算算算法法法
r 隐隐隐变变变量量量 – 隐变量是隐含/不可观测的变量,使得估计问题变得困难,通常被表示成z。这里是包含
隐变量的常见设定:
设设设定定定 隐隐隐变变变量量量z x|z 评评评论论论
k 元混合高斯分布 Multinomial(φ) N (µ
j
,Σ
j
) µ
j
∈ R
n
, φ ∈ R
k
因子分析 N (0,I) N (µ + Λz,ψ) µ
j
∈ R
n
r 算算算法法法 – E-M 算法给出了通过重复构建似然函数的下界(E-步)和最优化下界(M-步)进行极大似
然估计给出参数θ 的高效估计方法:
• E-步: 计算后验概率Q
i
(z
(i)
),其中每个数据点x
(i)
来自特定的簇z
(i)
,过程如下:
Q
i
(z
(i)
) = P (z
(i)
|x
(i)
; θ)
• M-步: 使用后验概率Q
i
(z
(i)
) 作为簇在数据点x
(i)
上的特定权重来分别重新估计每个簇模型,
过程如下:
θ
i
= argmax
θ
X
i
ˆ
z
(i)
Q
i
(z
(i)
) log
P (x
(i)
,z
(i)
; θ)
Q
i
(z
(i)
)
dz
(i)
k-均均均值值值聚聚聚类类类
我们记c
(i)
为数据点i 的簇,µ
j
是簇j 的中心。
r 算算算法法法 – 在随机初始化簇中心µ
1
,µ
2
,...,µ
k
∈ R
n
后,k-均值算法重复下列步骤直至收敛:
c
(i)
= arg min
j
||x
(i)
− µ
j
||
2
et µ
j
=
m
X
i=1
1
{c
(i)
=j}
x
(i)
m
X
i=1
1
{c
(i)
=j}
r 失失失真真真函函函数数数 – 为了看到算法是否收敛,我们看看如下定义的失真函数:
J(c,µ) =
m
X
i=1
||x
(i)
− µ
c
(i)
||
2
层层层次次次化化化聚聚聚类类类
r 算算算法法法 – 结合聚合层次化观点的聚类算法,按照逐次构建嵌套簇的方式进行。
r 类类类型型型 – 存在不同的层次化聚类算法,解决不同的目标函数优化问题,在下表中总结列出:
内内内链链链 均均均链链链 全全全链链链
最小化簇内距离 最小化簇对平均距离 最小化簇对的最大距离
Stanford University 1 Fall 2018
评论0