基于字位置概率特征的条件随机场中文分词方法 (2008年)

将分词看成是一个对汉字进行分类的过程,然后利用条件随机场( CRFs)模型对每个汉字进行标记,最后转换为相应的分词结果。在现有 CRFs模型的基础上,从字的构词能力角度出发,探索了字位置概率特征,提出了基于字位置概率特征的条件随机场中文分词方法。实验表明,字位置概率特征的引入,使得结果 F1值 提高了3.5%,达到94.5%。