没有合适的资源?快使用搜索试试~ 我知道了~
LDA数学八卦.pdf
5星 · 超过95%的资源 需积分: 9 486 下载量 119 浏览量
2015-06-10
11:11:57
上传
评论 3
收藏 2.45MB PDF 举报
温馨提示
试读
55页
LDA学习必备资料,详细科普LDA中所用到的数学知识。
资源推荐
资源详情
资源评论
LDA Í!l%
Rickjin(!ìü), version 1.0
2013 c 2 ! 8 !
Contents
0.1 mü .................................. 2
0.2 ¤!Gamma!Í .......................... 2
0.2.1 Gamma !Í")P ..................... 2
0.2.2 Gamma !Í"" ...................... 7
0.2.3 l!ë©!#Gamma ©! ................. 10
0.3 #£Beta/Dirichlet©! ....................... 13
0.3.1 $$!iZ—#£Beta ©! ................. 13
0.3.2 Beta-Binomial "› ..................... 17
0.3.3 Dirichlet-Multinomial "› ................. 21
0.3.4 Beta/Dirichlet ©!!òá#ü ............... 24
0.4 MCMC #Gibbs Sampling ...................... 24
0.4.1 ë""[ ........................... 24
0.4.2 !ºÛ9Ÿ$!©! ..................... 27
0.4.3 Markov Chain Monte Carlo ................. 31
0.4.4 Gibbs Sampling ........................ 34
0.5 ©"Ô" ............................... 37
0.5.1 Unigram Model ........................ 38
0.5.2 Topic Mod el #PLS A .................... 42
0.6 LDA ©"Ô" ............................ 44
0.6.1 iZ$" ........................... 44
0.6.2 ‘n%ß©" ......................... 46
0.6.3 Gibbs Sampling ........................ 49
0.6.4 Training and Inference .................... 52
0.7 #P .................................. 53
1
0.1 mü
#Machine Learning •ßLDA ¥¸á~^"$!{°µLinear Di sc ri m-
inant Analysis #Latent Dirichlet Allocationß#$ü©%•$ÇÃál%!
¥#&" LDA ¥òá#©"Ô"•&Õ"!"$ßaquSVD, PLSA %"
$ßå±^uf$䬩¤,#©"䬩¤•¥òá&k^!"$" &#%
!¥ß$á "$•'9!Í!&£k&'ßù)Gamma !ÍßDirichlet ©!ß
Dirichlet-Multinomial "›ßGibbs Sampling, Variational Inference, $ìd©
"Ô"ßPLSA Ô", ±9LDA ©"Ô""
$ü©%!Ãá8%ß#¥â #!Sn"LDA "$•ß&á""!ò
''á!Í!&£"˝(!(&¥âg%ä(?n!"Ï!S!Í$&%êï
!Ûßìßá()$üâ ß &á!Í!ƒ:&£ƒ"&#á%ùF'k)!
5V#$ÜÍn⁄O6$"÷"
©%%K'&/l%0¸ißœèl%øõXgd! #&Â! å±U!)
òß['?n&èJùk#*(!*ê#+%$èF"l%¥É ,(¥n"!ß
=&¶¥(uÍ!!l%" ,u"©•!))µ$ßÅHu+#$!, Lá'
'*rickjin, &&¥eázhihuijin@gmail.com"
0.2 ¤!GammaºÍ
0.2.1 Gamma ºÍ")P
!p%Í!!û+ß$Ç-!S%*eòá'Ék&¤A!Gamma!Í
(x)=
Z
1
0
t
x1
e
t
dt
œ%©(»©!ê{ßå±Ì.—$á!Ík*e!/,#ü
(x + 1) = x(x)
u¥&(¥y$ß(x) !Íå±+§¥)¶#¢Í8&!-ˇß*k*e#ü
(n)=(n 1)!
!S"Gamma !ÍÉ#ß'c±5$òÜk¸á¶Øµ
1. $á'0$o-…!òá!ÍßÍ![¥*)(#!#
2. è) 1 ¬ ! Í ! û +ß # ¶ 0 $ á ! Í !1¬ % v(n)=n! &
¥(n)=(n 1)!
2
Å+Ä"ò']&ßuyk#/©z]&,0Gamm a !Íuy!{§ß
á`òŸß&áò1!Í!Ì.ß$(ê¥{á!`ò'ÃÇ"
1728cßx2n.#%'Í(,ä!ØKßœÇ!`#¥rÍ(!œë˙
™1¬l-Í8 /-ˇ#¢Í8/ß~*Í(1, 4, 9, 16, ··· å±^œë˙™n
2
g%!)àß=&n è¢Í!û+ß$áœë˙™è¥˚01 ¬!" Ü1!`
è#¥å±(#ò^$w!#Çœ%y = x
2
œ%§k!-Í&(n, n
2
)$'&ß
l&å±r1¬#- Í8&!˙™-ˇ#¢Í8/"òUx2n.m©?n )
¶.(1, 2, 6, 24, 120, 720, ···, $Çå±Oé2!, 3!, ¥ƒå±Oé2.5!Q$$Çr
Å–!ò'(n, n!)!&x#ã%.&ß+¢å±w#ß(¥x—ò^œ%$'
&!$w#Ç
Figure 1: œ%(n, n!)!#Ç
x2n.,{"-$áØKßu¥/+û.Z2.d.$„|#¶!33˚
Z*.$„|ßduÓ.+û#˚Z*.$„|#ò¨ß¶èœ d0&"$áØ
K"&Ó.u1729 c-{!"-"$áØKßdd.ó" !Í!")ß+û
Ó.êk22ï"
Ø¢& ƒ k "-n!! , ä O é Ø K ! ¥ ˚ Z *.$ „ |ß ¶ u yß *
3m, n-¥0-Íß*3m !1ßk
1 · 2 · 3 ···m
(1 + n)(2 + n) ···(m 1+n)
(m +
n
2
)
n1
! n!
u¥^$á,°¶»!ê™å±rn!!1¬-ˇ#¢Í8/"~*ß ,n =2.5,
3
m v4å߃u&™#å±+qOé—2.5!"
Ó.èÛ%!uyn! å±^*e!òá,°¶»)à
h⇣
2
1
⌘
n
1
n +1
ih⇣
3
2
⌘
n
2
n +2
ih⇣
4
3
⌘
n
3
n +3
i
···= n! (1)
^4Å0™ß$á™f-n#å±/è
lim
m!1
1 · 2 · 3 ···m
(1 + n)(2 + n) ···(m + n)
(m + 1)
n
= n! (2)
Ü*å±-nè
1 · 2 · 3 ···m
(1 + n)(2 + n) ···(m + n)
(m + 1)
n
=1 · 2 · 3 ···n ·
(n + 1)(n + 2)m
(1 + n)(2 + n) ···m
·
(m + 1)
n
(m + 1)(m + 2) ···(m + n)
=n!
(m + 1)
n
(m + 1)(m + 2) ···(m + n)
=n!
n
Y
k=1
m +1
m + k
! n!(m !1)
§±(1)!(2)™-§·"
Ó.m©}¡lò'{¸!~fm©âò'Oéßww¥ƒk$)å1ß
Ó.4Ÿ-'Í!!1/Ü,B"+n =1/2 !û+ßë.(1) ™Oéß-n#
å±0#
⇣
1
2
⌘
!=
r
2 · 4
3 · 3
·
4 · 6
5 · 5
·
6 · 8
7 · 7
·
8 · 10
9 · 9
···
%&m*00#Õ"!Wallis ˙™(È" Wallis #1665c¶^,äê{Oéå
)#Çy =
p
x(1 x) e!°»(è#¥Ü/è1!å)°»)!û+ß0#(
u⇡!*e03ß
2 · 4
3 · 3
·
4 · 6
5 · 5
·
6 · 8
7 · 7
·
8 · 10
9 · 9
···=
⇡
4
u¥ßÓ.|^Wallis ˙™0#"*eòá&§*!03
⇣
1
2
⌘
!=
p
⇡
2
Ó.#pd-¥*káÖÜ1 !Í![ß4¥Ó.#pd!,Ǫ…" p
d¥áP*kßÍ!&ö~*(ßu)03!û+/-rg%!5,!0ßê
+e§*!03ß$*ó"ò'Í![,pd !1µ#&Ó.!,Ç#”ß2
~œ%2,Ü1âåˇ! +,ß&¶!©%• +e¶*)âÍ!+ é!5
,ß&©%k!û+$y#4*(" . .d+`%µ0((Ó.,¶¥§k1
4
剩余54页未读,继续阅读
July_Zh1
- 粉丝: 296
- 资源: 9
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
- 1
- 2
- 3
前往页