nlp中的主题模型
127 浏览量
2021-01-27
11:16:52
上传
评论
收藏 816KB PDF 举报
nlp中的主题模型中的主题模型
1、LDA的宏观理解
谈起LDA，自然需要引入pLSA。pLSA是用一个生成模型来建模文章的生成过程。假设有K个主题，M篇文章；对语料库中的
任意文章d，假设该文章有N个词，则对于其中的每一个词，我们首先选择一个主题z，然后在当前主题的基础上生成一个词
w。
生成主题z和词w的过程遵照一个确定的概率分布。设在文章d中生成主题z的概率为 [公式] ，在选定主题的条件下生成词w的
概率为 [公式] ，则给定文章d，生成词w的概率可以写成：
pLSA概率图模型
LDA可以看作是pLSA的贝叶斯版本，其文本生成过程与pLSA基本相同，不同的是为主题分布和词分布分别加了两个狄利克雷
（Dirichlet）先验。为什么要加入狄利克雷先验呢？这就要从频率学派和贝叶斯学派的区别说起。pLSA采用的是频率派思
想，将每篇文章对应的主题分布[公式]和每个主题对应的词分布[公式]看成确定的未知常数，并可以利用EM算法求解出来；
而LDA采用的是贝叶斯学派的思想，认为待估计的参数（主题分布和词分布）不再是一个固定的常数，而是服从一定分布的随
机变量。这个分布符合一定的先验概率分布（即狄利克雷分布），并且在观察到样本信息之后，可以对先验分布进行修正，从
而得到后验分布。LDA之所以选择狄利克雷分布作为先验分布，是因为它为多项式分布的共轭先验概率分布，后验概率依然服
从狄利克雷分布，这样做可以为计算带来便利。——《百面机器学习》
LDA概率图模型
在LDA概率图模型中，α，β分别为两个狄利克雷分布的超参数，为人工设定。
补充：pLSA虽然可以从概率的角度解释了主题模型，却都只能对训练样本中的文本进行主题识别，而对不在样本中的文本是
无法识别其主题的。根本原因在于NMF与pLSA这类主题模型方法没有考虑主题概率分布的先验知识，比如文本中出现体育主
题的概率肯定比哲学主题的概率要高，这点来源于我们的先验知识，但是无法告诉NMF主题模型。而LDA主题模型则考虑到
了这一问题，目前来说，绝大多数的文本主题模型都是使用LDA以及其变体。
2、LDA的数学基础
2.1 概率基础
（1）二项分布与多项分布
评论0
最新资源