人工智能_SCI_论文解读_Vocabulary size and its effect on topic representa

Vocabulary size and its effect on topic representation 词汇量及其对主题表示的影响 这项研究调查了如何通过选择性地从被建模的文本语料库的词汇中删除术语来减少主题模型训练的计算开销。我们使用三个数据集，比较了删除单独出现的术语、前0.5%、1%和 5% 最频繁出现的术语以及前 0.5% 最频繁和单独出现的术语的影响，以及建模主题数量的变化（10、20、 30, 40, 50, 100) 。对四种结果指标进行了比较。删除单独出现的术语对所有测试的结果几乎没有影响。通过文档空间密度来衡量的文档区分能力，随着频繁出现的术语的移除而降低，但随着主题数量的增加而增加。词汇量对熵的影响不大，但熵​​受主题数量的影响。最后，由成对主题相似度和Jensen-Shannon散度衡量的主题相似度随着频繁项的删除而降低。这些发现对利用主题建模的信息检索和信息计量学中的信息科学研究有影响。