# Text-Clustering
使用 Python 开发一个文本聚类系统：将文本转换成向量，结合 LDA 话题模型和 VSM 模型计 算文本特征向量之间的相似度，利用谱聚类算法实现对文本的聚类分析.
20 Newsgroups 数据集是用于文本分类、文本挖据和信息检索研究的国际标准数据集之一. 数据集收集了大约 20,000 左右的新闻组文档，均匀分为 20 个不同主题的新闻组集合.
这里使用 VSM 模型计算文本的 TF-IDF 特征向量，使用 LDA 模型计算文本的各隐含主题分布
的特征向量.
TF-IDF 权值策略中的 IDF 函数本质上是一种抑制噪声的加权处理办法，使得 VSM 模型从词
频统计方面挖掘出文本表层知识，但同时也会丢失大量的深层语义信息.
而 LDA 主题模型从文本内部挖掘出潜在主题知识，弥补了前者挖掘深度的不足，但模型的低维
度则导致很难保证信息的完整性，区分文本类别的能力显然不够.
因此将二者进行有机结合的模型，从词语、主题两个不同层次的方面充分挖掘文本信息，结合模
型各自的优势，互相弥补欠缺的不足，从而保证了文本聚类的质量.
使用 Python 开发一个文本聚类系统：将文本转换成向量，利用谱聚类算法实现对文本的聚类分析.zip
版权申诉
152 浏览量
2023-11-13
20:47:27
上传
评论
收藏 473KB ZIP 举报
使用 Python 开发一个文本聚类系统：将文本转换成向量，结合 LDA 话题模型和 VSM 模型计 算文本特征向量之间的相似度，利用谱聚类算法实现对文本的聚类分析..zip （19个子文件） 
Text-Clustering-main Project 
main.py 3KB Spectral.py 1KB sample.cp37-win_amd64.pyd 135KB LDAModel.py 5KB sample_topics sample.c 769KB setup.py 446B sample.cp37-win_amd64.pyd 135KB gamma.c 3KB sample.pyx 2KB build temp.win-amd64-3.7 Release sample.obj 761KB sample.cp37-win_amd64.exp 689B gamma.obj 12KB sample.cp37-win_amd64.lib 2KB gamma.h 78B __pycache__ LDAModel.cpython-37.pyc 4KB spectral1.cpython-37.pyc 908B FeatureVec.cpython-37.pyc 22KB Spectral.cpython-37.pyc 891B README.md 1KB资源评论
