基于词内部结合度和边界自由度的新词发现 (2015年)

新词发现作为自然语言处理领域的一项基础研究，一直受到学术界和企业界的广泛关注。将新词发现问题转换为确定词语边界问题。首先对语料进行中文分词，然后统计“散串”，最后提出一种基于词内部结合度和边界自由度的新词发现方法。通过在大规模语料上进行新词发现实验，验证了该方法的有效性。今后的研究重点将放在如何有效地识别低频新词上，以提高系统的整体性能。