论文研究-LDA模型下不同分词方法对文本分类性能的影响研究.pdf

通过定义类别聚类密度、类别复杂度以及类别清晰度三个指标，从语料库信息度量的角度研究多种代表性的中文分词方法在隐含概率主题模型LDA下对文本分类性能的影响，定量、定性地分析不同分词方法在网页和学术文献等不同类型文本的语料上进行分类的适用性及影响分类性能的原因。结果表明：三项指标可以有效指明分词方法对语料在分类时产生的影响，Ik Analyzer和ICTCLAS分词法分别受类别复杂度和类别聚类密度的影响较大，二元分词法受三个指标的作用相当，使其对于不同语料具有较好的适应性。对于学术文献类型的语料，使用二元分词法时的分类效果较好，F1值均在80%以上；而网页类型的语料对于各种分词法的适应性更强。尝试通过对语料进行信息度量而非单纯的实验来选择提高该语料分类性能的最佳分词方法，以期为网页和学术文献等不同类型的文本在基于LDA模型的分类系统中选择合适的中文分词方法提供参考。