中文分词算法介绍、分类详解
需积分: 50 140 浏览量
2010-04-25
18:25:46
上传
评论
收藏 108KB DOC 举报
1
最大匹配法（Forward Maximum Matching method, FMM 法）：选取包含 6-8 个汉字的符号
串作为最大符号串，把最大符号串与词典中的单词条目相匹配，如果不能匹配，就削掉一
个汉字继续匹配，直到在词典中找到相应的单词为止。匹配的方向是从右向左。
逆向最大匹配法（Backward Maximum Matching method, BMM 法）：匹配方向与 MM 法相
反，是从左向右。实验表明：对于汉语来说，逆向最大匹配法比最大匹配法更有效。
给定串：我是中国人
从左往右最长匹配优先：
读入‘我’，一个字当然是一个词
再读入‘是’，查表找‘我是’，不在表中，则‘我’是一个独立的词，‘是’还要下一步判断
读入‘中’‘是中’肯定不在表内，那‘是’也是一个独立的词，‘中’还要下一步判断
读入‘果’，‘中国’在表内
再读入‘人’，’中国人‘也在表内，
此时全部读完，’中国人‘是一个次
结果就是：我 是 中国人
从右往左也类似
最近折腾毕业论文，搞得人没心情写
blog
了。于是觉得不如把毕业论文里的东西贴出来
当
blog
算了。这里主要介绍了我自己的中文分词算法，我觉得它比现在开源代码比较多
的中文匹配法要好多了。这里的内容没有任何背景知识啥的，毕竟论文里的背景知道我也
是从网上粘贴的，呵呵！因此这篇文章的内容可能适合做搜索引擎的人。如果要了解中文
分词算法在搜索引擎中的重要性，或者最大匹配法的思想与过程，请去网上搜吧，资料还
是蛮多的。
1.1.1
最大匹配法分词的缺陷
尽管最大匹配法分词是常用的解决的方案，但是无疑它存在很多明显的缺陷，这些缺陷也
限制了最大匹配法在大型搜索系统中的使用频率。最大匹配法的问题有以下几点：
一、长度限制
剩余13页未读，继续阅读
资源评论
