结合词义的文本特征词权重计算方法 (2012年)

传统的基于向量空间模型的文本相似度计算方法，用TF-IDF计算文本特征词的权重，忽略了特征词之间的词义相似关系，不能准确地反映文本之间的相似程度。针对此问题，提出了结合词义的文本特征词权重计算方法，基于Chinese WordNet采用词义向量余弦计算特征词的词义相似度，根据词义相似度对特征词的TF-IDF权重进行修正，修正后的权重同时兼顾词频和词义信息。在哈尔滨工业大学信息检索研究室多文档自动文摘语料库上的实验结果表明，根据修正后的特征词权重计算文本相似度，能够有效地提高文本的类区分度。