收稿日期：２０１４０９２０；修回日期：２０１４１１１１
作者简介：张超（１９８９），男，河南固始人，硕士，主要研究方向为自然语言处理；陈利 （１９６１），女（通信作者），湖北武汉人，教授，主要研究方向为
中文信息处理、计算机应用（４０３６０９１１１＠ｑｑ．ｃｏｍ）；李琼（１９８１），女，湖北天门人，副教授，硕士，主要研究方向为中文信息处理、计算机应用．
一种 ＰＳＴ＿ＬＤＡ中文文本相似度计算方法
张 超
１
，陈 利
１
，李 琼
２
（１．华中师范大学 计算机学院，武汉 ４３００７９；２．汉口学院 计算机科学与技术学院，武汉 ４３０２１２）
摘 要：为了降低中文文本相似度计算方法的时间消耗、提高文本聚类的准确率，提出了一种 ＰＳＴ＿ＬＤＡ（词性
标注潜在狄利克雷模型）中文文本相似度计算方法。首先，对文本中的名词、动词和其他词进行词性标注；然后，
分别对名词、动词和其他词建立相应的 ＬＤＡ主题模型；最后，按照一定的权重比例综合这三个主题模型，计算文
本之间的相似度。由于考虑了不同词性的词集对文本相似度计算的贡献差异，利用文本的语义信息提高了文本
聚类准确率。将分离后的三个词集的 ＬＤＡ建模过程并行化，减少建模的时间消耗，提高文本聚类速度。在 Ｔａｎ
Ｃｏｒｐ１２
数据集分别用 ＬＤＡ和 ＰＳＴ＿ＬＤＡ方法进行中文文本相似度计算模拟实验。实验结果显示，ＰＳＴ＿ＬＤＡ方
法不仅减少了建模时间消耗，同时在聚类准确率上有一定的提高。
关键词：词性标注；ＬＤＡ模型；ＰＳＴ＿ＬＤＡ模型；文本相似度计算
中图分类号：ＴＰ３９１．１ 文献标志码：Ａ 文章编号：１００１３６９５（２０１６）０２０３７５０３
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．０２．０１２
ＣｈｉｎｅｓｅｔｅｘｔｓｉｍｉｌａｒｉｔｙａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＰＳＴ＿ＬＤＡ
ＺｈａｎｇＣｈａｏ
１
，ＣｈｅｎＬｉ
１
，ＬｉＱｉｏｎｇ
２
（１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ，ＣｅｎｔｒａｌＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３００７９，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｎｋｏｕＵｎｉ
ｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３０２１２，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｄａｎｅｗｔｅｘｔｓｉｍｉｌａｒｉｔｙａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈｗａｓｂａｓｅｄｏｎｔｈｅＰＳＴ＿ＬＤＡ（ｐａｒｔｏｆｓｐｅｅｃｈｔａｇｇｉｎｇ
ＬＤＡ），ｔｏｒｅｄｕｃｅｔｈｅｔｉｍｅｃｏｍｐｌｅｘｉｔｙｏｆＣｈｉｎｅｓｅｔｅｘｔｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎａｎｄｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙｏｆｔｅｘｔｃｌｕｓｔｅｒｉｎｇ．Ｔｈｅａｌ
ｇｏｒｉｔｈｍｈａｄｔｈｒｅｅｐｒｏｃｅｄｕｒｅｓ．Ｆｉｒｓｔｌｙ，ｉｔｄｉｖｉｄｅｄｔｈｅｗｏｒｄｓｉｎｔｏｎｏｕｎｓｅｔ，ｖｅｒｂｓｅｔａｎｄｌａｓｔｗｏｒｄｓｓｅｔａｃｃｏｒｄｉｎｇｔｏｔｈｅｐａｒｔｏｆ
ｓｐｅｅｃｈ．Ｓｅｃｏｎｄｌｙ，ａｐｐｌｉｅｄａＬＤＡｍｏｄｅｌｔｏｅａｃｈｓｅｔ．Ｆｉｎａｌｌｙ，ｉｔｃｏｍｂｉｎｅｄｔｈｒｅｅｍｏｄｅｌｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｅｒｔａｉｎｐｒｏｐｏｒｔｉｏｎａｎｄ
ｃｏｍｐｕｔｅｄｔｈｅｄｉｓｔａｎｃｅｏｆｔｗｏｔｅｘｔｓｂｙＪＳｓｉｍｉｌａｒｉｔｙｄｉｓｔａｎｃｅ．Ｄｕｅｔｏｄｉｆｆｅｒｅｎｔｃｏｎｔｒｉｂｕｔｉｏｎｆｒｏｍｔｈｅｓｅｔｓ，ｔｈｅｔｅｘｔｃｌｕｓｔｅｒｉｎｇｒｅ
ｓｕｌｔｈａｓａｂｅｔｔｅｒａｃｃｕｒａｃｙ．Ｔｈｅａｌｇｏｒｉｔｈｍ ｐａｒａｌｌｅｌｉｚｅｄｍｏｄｅｌｉｎｇｔｈｅｔｈｒｅｅｗｏｒｄｓｓｅｔｓｔｏｔｈｅｕｎｃｏｒｒｅｌａｔｅｄＬＤＡｍｏｄｅｌｓ，ｗｈｉｃｈ
ｃｏｕｌｄａｃｃｅｌｅｒａｔｅｔｈｅｔｅｘｔｃｌｕｓｔｅｒｉｎｇｐｒｏｃｅｓｓ．ＴｈｅｓｉｍｕｌａｔｉｏｎｃｏｍｐａｒｅｄｔｈｅＬＤＡｍｅｔｈｏｄａｎｄｔｈｅＰＳＴ＿ＬＤＡｍｅｔｈｏｄｏｎｔｈｅＴａｎ
Ｃｏｒｐ１２ｄａｔａｓｅｔ．ＴｈｅｒｅｓｕｌｔｓｈｏｗｓｔｈａｔｔｈｅＰＳＴ＿ＬＤＡｍｅｔｈｏｄｒｅｄｕｃｅｓｔｈｅｍｏｄｅｌｉｎｇｔｉｍｅｗｉｔｈｔｈｅｈｉｇｈｅｒｔｅｘｔｃｌｕｓｔｅｒｉｎｇａｃｃｕｒａ
ｃｙ．
Ｋｅｙｗｏｒｄｓ：ｐａｒｔｏｆｓｐｅｅｃｈｔａｇｇｉｎｇ；ＬＤＡｍｏｄｅｌ；ＰＳＴ＿ＬＤＡｍｏｄｅｌ；ｔｅｘｔｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎ
在中文信息处理中，文本相似度的计算广泛应用于信息检
索、机器翻译、自动问答系统、文本挖掘等领域，它是一个基础
而关键的问题，长期以来一直是人们研究的热点。
李艳梅
［１］
将文本建模为词频向量，用余弦相似度量等方
法计算文本相似度。该方法由于没有考虑文本中词项的语义
信息，计算结果准确率不够高，甚至可能出现计算结果错误。
庞大的文本数量和词项数目，导致文本相似度计算时间消耗过
长。黄承慧等人
［２］
和孟宪军
［３］
利用文本语义信息，借助外部
词典分析词项之间的语义相似度，综合词项相似度加权树以及
文本语义相似度计算相似度。但此方法受外部词典内容的片
面性影响和约束较大。孙昌年等人
［４］
采用 ＬＤＡ建模得到文本
的主题分布，通过对文本的主题特征模型计算文本相似度。该
方法利用文本语义信息进行文本向量降维，减少了文本相似度
的计算复杂度，但是聚类的准确度却不高。
本文提出了一种
ＰＳＴ＿ＬＤＡ中文文本相似度计算方法。结
合文本中不同词性在聚类中贡献不同的思想
［５］
，对传统的
ＬＤＡ方法进行改进，即考虑到名词、动词对文本分类的重要程
度，将词类分为名词、动词和其他词三类。首先将文本中的词
标注为三类，然后对不同词类的词集分别进行
ＬＤＡ建模，最后
将它们按照贡献权重整合成一个 ＰＳＴ＿ＬＤＡ模型计算文本相似
度。由于考虑了不同词性的词项对文本相似度计算的贡献差
异，利用文本的语义信息提高了文本聚类准确率。将分离后的
三个词集的
ＬＤＡ建模过程并行化，减少建模的时间消耗，提高
了文本聚类速度。
"
53<=78>
方法描述
"
"
模型构造
在中文文本中，不同词性特征在文本聚类中贡献度不同。
名词是表征文本内容的最重要词性，动词、形容词和副词均对
文本聚类结果有帮助
［５］
。将文本中的名词、动词和其他词分
离出来分别建立相应的 ＬＤＡ模型，最后按照一定的权重比例
综合三个模型得到 ＰＳＴ＿ＬＤＡ模型。构造的 ＰＳＴ＿ＬＤＡ模型贝
叶斯网络如图 １所示。
第 ３３卷第 ２期
２０１６年 ２月
计 算 机 应 用 研 究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ．３３Ｎｏ．２
Ｆｅｂ．２０１６
资源评论
weixin_38609732
- 粉丝: 8
- 资源: 963
最新资源
- 538114a36f4815de38d10f977a2e7219.pdf
- mermaid代码转图片工具
- 基于PCA主成分分析的BP神经网络回归预测MATLAB代码详解-初学者上手指南,基于PCA主成分分析的BP神经网络回归预测MATLAB代码详解：数据预处理、KMO验证及神经网络预测,基于PCA主成分
- 基于分布式驱动电动汽车的路面附着系数估计：无迹与容积卡尔曼滤波方法的高效精准估算,基于分布式驱动电动汽车的路面附着系数估计：无迹与容积卡尔曼滤波方法的高效精准估算,基于分布式驱动电动汽车的路面附着系数
- CloudCompare版本v2.13完整源码
- 基于Python的Django-vue基于大数据技术的智慧居家养老服务平台源码-说明文档-演示视频.zip
- 基于TimeNet与TSMixer的先进时间序列预测模型：创新、优化与多变量处理的最佳选择,标题：TimesNet与TSMixer融合的先进时间序列预测模型：创新、高效且潜力无穷的预测新范式,Time
- 粒子群算法PSO优化随机森林RFR回归预测MATLAB代码：EXCEL数据读取与代码解析适用于初学者上手实践,教程粒子群算法（PSO）优化随机森林（RFR）的回归预测MATLAB代码，注释清楚+读
- Xray主动扫描报告1.html
- MYDB技术文档.zip
- 基于Python的Django-vue基于数据可视化的智慧社区内网平台设计与实现源码-说明文档-演示视频.zip
- 3月3日版代码-first-web.rar
- COMSOL多物理场耦合在瓦斯抽采中的应用案例研究：从理论模型到实践探索（涵盖钻孔瓦斯抽采、顺层抽采等）,COMSOL瓦斯抽采案例：多物理场耦合的数值模拟与工程实践研究，涉及钻孔瓦斯抽采模型、复杂热流
- 基于Python的Django-vue基于协同过滤的儿童图书推荐系统实现源码-说明文档-演示视频.zip
- WordPress主题：Haida多功能响应式WordPress高级主题1.3.6最新版.zip
- 64位 WPS 支持的VBA插件
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
