论文研究-结合关键词微变和LD算法的文本相似性研究.pdf

为了解决基于传统向量空间模型的文本相似性算法没有考虑向量高维及关键词的微变，而导致文本相似性计算结果不够精确的问题，提出了关键词微变情况下基于聚类和LD算法的文本相似性算法TSABCLDA（Text Similarity Algorithm Based on Clustering and LD Algorithm）。对文本进行移除数字、标点符号和停用词等预处理；采用聚类的方法约简文本中的低频词，利用LD算法计算特征词间的相似度，建立文本相似度矩阵；用特征词相似度及其权重构建的空间向量计算文本间的相似度，这样不仅考虑了关键词微变的情况，而且有效地解决了文本向量的高维问题，将其应用于文本挖掘中，能够提高相似文本的挖掘效率。实验结果表明，由于考虑了关键词微变情况，在一定的阈值范围内，该算法文本相似性的准确率得到了明显的提高。