本文的工作主要包括两部分：第一部分，我们借用了文本分类领域的特征选择算法对中文分词中的特征进行分析。分析结果表明，特征选择算法在中文分词的任务中也是适用的。在中文分词领域，基于字标注的方法得到广泛应用。通过字标注系统，中文分词任务被转换为序列标注任务，许多成熟的机器学习算法得以应用。评测结果表明，在众多的机器学习算法中，基于CRFs的分词器可以达到state-of-the-art的分词效果。CRFs分词器对于给出的每一个切分，都可以提供置信度。在本文中，我们深入调研了CRFs提供的置信度，在此基础上，提供了一种基于置信度的后处理中文分词算法。三个不同数据集上的实验结果证明，我们的算法是有效的。另一方面，我们对未登录词(OOV)在上下文中的分布进行观察，提出了一种基于篇章内部信息和CRFs置信度的OOV识别方法，可以进一步提高中文分词的准确度。 第二部分，我们借用了中文文本分类中的字标注算法来解决短文本分类问题。通过标注算法，可以将短文本分类问题转化为序列标注问题，这样CRFs就可以用于短文本分类任务中。实验结果表明，基于CRFs的短文本分类器可以达到更高的分类精度。
- 1
- 2
前往页