下载  >  信息化  >  其它  > 高斯混合模型GMM估计算法推导

高斯混合模型GMM估计算法推导 评分:

高斯混合模型,GMM,分类器,MLE算法公式推导
+a ∑B( 令上兩式為零,即可得到 ∑() ∑B( ∑B()-)(- (2) ∑B() 此外’我們人必須求0對α的微分’但因α仍必須滿足總和為1的條件 因此我們引進 Lagrange multiplier,並定義新的目標函數為 + e a(uo)+a(uo)a(uo)+a-a-a-a) ∑ 1)+a uo+a( ∑B()-2 aA=∑B( →{a=∑B( A=∑B() 將上三式相加 (a+a+a=∑|B()+B()+B() =∑ ∑B( (3) 因此經由計算θ的導式並令其為零’我們得到方程式()()及()’這三個 方程式事實上代表了+個純量方程式,共含+個未知數,但須特別注意的 是:B()仍是 aaa uuu o oo的函數,因此方程式()(),()是一組 含十個未知數的非線性聯立方程式’很難用一般的方法去解’通常我們是以方 程式()(),()為基礎來進行疊代法’流程如下 1.設定一個起始象數值O= aaa ul oo]。(我們可令 a =aa 並使用K- means的方式來計算群聚的中心點,以作為丶 和的起始叁數值。) 2.使用日來計算B()、β()及尸(), 3.計算新的μ值 ∑B() ∑B() 4.計算新的σ值 ∑/()- ∑B() 5.計算新的a值 a=∑B() 6.令=aa可]若-小於某一個極小的容忍值,则停 止。否則令θ=日並跳回步驟2。 上娏疊代方法一定會讓θ逐步遞增’並收斂至一個局部最大值(Loca Maximuⅷm)·但我們無法證明此局部最大值是否就是全域最大值( Global Maximu皿m)。有關這些方程式的另一種推導方法’以及這些方程式能夠讓θ逐步 遞增的證明’詳見下節說明。 2.求取GM參數的另一種方法 在本節中’我們使用另一種來導出求取GM參數的疊代公式。此方法所得到的疊代 公式與前一節的公式完全相同,但本節之方法可證明此疊代公式可以逐提高 6的值 首先我們說明一個重要的不等式。由於對數函數()=()是一個凹函數 ( Concave function),滿足下列不等式 推廣上式可得「簡森不等式」( Jensen' s Inequality): |≥x 其中λ必須滿足∑λ 假改我們現有的參數是O’我們希望找出新的日值’使得(0)>(0)。以= 為例,(0)叮以表示成 (0)=∑[(pa)+a(a)+a(a〗 因此 0-()=∑|r(c)+a u o+a F+a a(uob.a(uoB(a )B( 0)B O B( ⑦0)B( 2E()“0(0+/()“6)+()<(0 在前面的推導中,B()的計算是根據O,而且 因為∑尸()=,因此我們可套用简森不等式而得到(O)-()≥(0)°换句話 說’只要()>,那麽()就會大於(),但通常我們希望(日)是越大越好,因 此最直覺的方法是直接求得使()為最大的θ值’那麼(θ)就會跟著變大’見圖 1。由於(0)是θ的函數’我們可以把和O不相關的部分併入常數項,如下: (0)=∑/()la(ao)+B()ka(o)+B()a(a)+ ∑∑B(儿a+(a)+ ∑∑(ka+ ∑∑()a ∑( ∑B() ∑B(X-)(-) ∑B() 欲求最佳之值,需引入 Lagrange multiplier +ia+a +a ∑∑()a +dla +a +a 分別對a微分可得 →aA=∑B( →a →aA=∑() 將上三式相加’可得 (a+a+a尻=∑[B()+B()+B() 因此 ∑ 因此我們最後的結果可整理如下 ∑B() ∑B() ∑B ∑B( a=∑B( 其中β()的計算’是根據θ。因此由上遽方法得到的結果’和前一節的結果是完 全一致的。有關於(0)-()2(0)這部分的圖解,可見下国

...展开详情
2011-11-19 上传 大小:264KB
举报 收藏 (1)
分享

评论 下载该资源后可以进行评论 共1条

garfield2005 倒是非常详尽的推导过程,可以下载看看
2015-03-04
回复