三种中文分词算法优劣比较.docx
版权申诉
108 浏览量
2023-09-22
20:52:23
上传
评论
收藏 26KB DOCX 举报
目前为止，中文分词包括三种方法：1）基于字符串匹配的分词；2）基于理解的分词；3）
基于统计的分词。到目前为止，还无法证明哪一种方法更准确，每种方法都有自己的利弊，
有强项也有致命弱点，简单的对比见下表所示：
各种分词方法的优劣对比:
（1）歧义识别
歧义识别指一个字符串有多种分词方法，计算机难以给出到底哪一种分词算法才是正确的分
词系列。如"表面的"可以分为"表面/的"或"表/面的"。计算机无法判断哪一种才是准确的分词
系列。
基于字符串的分词算法：仅仅是跟一个电子词典进行比较，故不能进行歧义识别；
基于理解的分词算法：指通过理解字符串的含义，故有很强的歧义识别能力；
资源评论
