基于 LDA SS-NMF 的交互式文本主题分析可视化分析系统 毕业设计 附完整代码.zip

# 面向文本分析的交互式主题建模 **摘要** 在机器学习和自然语言处理领域中，主题模型(Topic Model)是在一系列文档中发现抽象主题的一种统计模型，并被广泛地应用于文本文档集合的分析。近年来，各种主题建模技术，特别是概率图建模技术，取得了显著的进展，其中隐含狄利克雷分布(LDA)等最先进的技术已经成功地应用于可视化文本分析。然而，大多数基于概率模型的方法在多次运行的一致性和经验收敛性方面存在缺陷。此外，由于公式和算法的复杂性，LDA 无法轻易合并各种类型的用户交互和反馈。本课题的主要目的是设计一个主题模型可视化分析系统，使用非负矩阵分解的方法对文本进行主题建模，将训练过程和结果实时地可视化呈现给用户，并以半监督模式为核心，设计一系列用户交互方式，达到基于用户驱动的文本主题模型交互优化。在经过若干次模型交互优化后，如果用户对当前训练的主题模型感到满意了，便可以使用此模型来对语料库之外的新文档进行拟合，从而得到新文档的主题分布预测。本系统采用 Web 技术，后端算法和接口使用 Python 语言和 FastAPI Web 框架编写，前端界面使用 React&Ant Design 框架编写。本系统中收录了现实网络上多种类型的语料库（中/英文文本、社交用户短文本、新闻长文本），并提供了一个 Bilibili 网站的视频评论爬取工具，用户可以选择自己感兴趣的视频并爬取该视频下的评论，然后对其进行主题建模分析。最后，通过对这些实际语料库进行主题建模，执行相应的用户交互优化主题模型，并对其结果进行对比、分析，发现该系统在运行效率、多次运行的结果一致性方面明显要优于 LDA 算法，并且用户交互确实能够表达出用户的意图，并对主题模型的结果有改进优化的效果。 **关键词**：自然语言处理，文本分析，数据可视化，交互式聚类，主题模型，半监督，非负矩阵分解(NMF) # 一、绪论 ## 1.1 本课题的研究背景和意义 近年来，随着网络以及社交媒体的不断发展及活跃，互联网上每天都会产生大量的文本信息。在这些海量的文本数据中，对其进行分析并提取出有价值的内容，并由此指导用户的决策过程一直是研究的热点领域。在解决这些问题的各种方法中，主题建模方法（从文档语料库中发现语义上具有意义的主题）在数据挖掘/机器学习和可视化分析领域得到了广泛的应用。顾名思义，这是一个自动识别文本对象中存在的主题并派生文本语料库显示的隐藏模式的过程。 主题建模不同于使用正则表达式或基于字典的关键字搜索技术的基于规则的文本挖掘方法。这是一种无监督的方法，用于查找和观察大型文本集中的一堆单词（称为“主题”）。主题可以定义为“语料库中共同出现的术语的重复模式”。 主题模型有着广泛的应用场景，特别是对于文档聚类，组织大量文本数据，从非结构化文本中检索信息以及选择功能非常有用。例如，《纽约时报》正在使用主题模型来提升其用户–文章推荐引擎；各种专业人士正在针对招聘行业使用主题模型，他们旨在提取职位描述的潜在特征并将其映射到合适的候选人。 在本节接下来的内容中，我们将回顾主题模型的发展及研究现状，提出目前存在的问题，以及本课题的研究意义。 ### 1.1.1 主题模型的发展及研究现状 早在上世纪 80 年代，研究者们常常使用 TF-IDF 方法来进行文档的检索和信息的提取。在此方法中，先选择一个基于词或者词组的基本词汇，然后对于语料库中的每个文档，分别统计其中每个单词的出现次数。经过合适的正则化后，再将词的频率计数和反向文档频率计数相比较，得到一个词数乘以文档数的向量 X。向量的每个行中都包含着语料库中每个文档的 TF-IDF 值。 但是整个 TF-IDF 算法是建立在一个假设之上的：一个单词出现的文本频数越小，它区别不同类别文本的能力就越大。这个假设很多时候是不正确的，尤其是在引入 IDF 的过程中，单纯地认为文本频率小的单词就越重要，文本频率大的单词就越无用，显然这并不是完全正确的。其也不能有效地反映单词的重要程度和特征词的分布情况，因此精度有限。 上世纪 90 年代，Deerwester S 等人提出了潜在语义分析(LSA)，它是一种用于知识获取和展示的计算理论和方法，出发点就是文本中的词与词之间存在某种联系，即存在某种潜在的语义结构。Thomas Hofmann 于 1999 年提出了概率潜在语义分析(pLSA)，并在文中描述了 pLSA 与 LSA 的区别，即 LSA 主要基于奇异值分解(SVD)，而 pLSA 则依赖混合分解。他随后进行了一系列实证研究，并讨论了 pLSA 在自动文档索引中的应用。他的实证结果表明 pLSA 相对于 LSA 的表现有明显进步。 年，潜在语义分析被 Jerome Bellegarda 提出使用在自然语言处理中。2003 年 Andrew Y. Ng 等人在论文中提出用于 pLSA 的 aspect model 具有严重的过度拟合问题，他们提出了隐含狄利克雷分布(LDA)，这可以看作是结合了贝叶斯思想的 pLSA。LDA 是目前使用的最常见的主题模型。 年，针对当前主题模型可以为文档构建可解释的向量表示，而词向量在句法规则方面十分有效，Christopher E Moody 提出了 lda2vec，一个学习密集单词向量的模型，将上述两类模型的优点结合。他们的方法很容易融入现有的自动微分框架，并允许科学家使用无监督文档表示，同时学习单词向量和它们之间的线性关系。 ### 1.1.2 目前存在的问题 主题模型是一种无监督学习模型，其结果的好坏取决于所选的模型参数和训练集，并且具有很高的不确定性。用户通常无法在训练过程中对模型的结果进行修正，特别是一些专业领域，用户无法向主题模型提供一些领域知识来提高主题建模的质量。已有一些研究提出，通过对主题模型添加约束的形式来解决这一问题。Hu 等人提出了交互式主题模型，然而主题建模的结果十分不直观，从中寻找不恰当的结果并添加合适的约束非常耗时、费力。同时现在基于概率图模型的主题建模算法结果往往具有不确定性，很难引入用户的交互反馈操作，比如让用户交互调整建模的中间结果和参数，从而得到更优的主题分析结果。 ### 1.1.3 本课题的研究意义 本课题的研究意义是对当前主题建模算法进行优化改进，解决算法结果的不确定性和用户交互反馈引入的困难性这 2 个问题，将可视化分析技术与主题模型相结合，提供有效的交互手段，让人们充分参与到分析主题模型的结果中来，利用人的认知能力，从数据中挖掘有效信息，达到基于用户驱动的文本主题模型交互优化。 ## 1.2 研究内容和主要工作 本课题的研究主要内容是在国内外交互式主题建模的研究基础上，设计一个面向文本分析的交互式主题建模可视化分析系统。系统使用非负矩阵分解(NMF)来作为主题建模的主要算法，并参考了 Jaegul Choo 等人提出的 UTOPIAN 主题建模可视化分析系统，对其中的半监督非负矩阵分解(SS-NMF)算法和多种用户交互方式进行了实现及改进。 本系统采用 Web 技术，后端算法和接口使用 Python 语言和 FastAPI Web 框架编写，前端界面使用 React&Ant Design