分词系统研究完整版(ICTCLAS)

分词系统研究完整版

 分词系统是由中科院计算所的张华平、刘群所开发的一套获得广泛好评的分词系统，

难能可贵的是该版的  版开放了源代码，为我们很多初学者提供了宝贵的学习材料。

但有一点不完美的是，该源代码没有配套的文档，阅读起来可能有一定的障碍，尤其是对

不熟的人来说本人就一直用  作为主要的开发语言上大学时倒是学过

不过工作之后一直没有再使用过语法什么的忘的几乎一干二净了但语言这东西基本的东西都

相通的况且  也是在 的基础上形成的有一定的相似处阅读一遍源代码主要的语法

都应该不成问题了

下面是对源代码的主要内容的研究：

１首先， 分词程序首先调用  !"# $ %& 开始程序的执行并

且可以从看出它的处理方法是把源字符串分段处理。并且在分词前，完成词典的加载过程，即

生成 ' 对象时调用构造函数完成词典库的加载。关于词典结构的分析，请参加分词

系统研究（二）。

() !"# $ %& 

*



在此处进行分词和词性标记

+,'-"./-(011 "0/2-%'1(&01%1&$

%1&$-"./-(011 "0/21-"./0/21%1&$完成分词的整个处理

过程，包括分词的词性标注其中第一个参数为源字符串，第二个参数为分词后的字符串在这

两个方法中即完成了整个分词处理过程，下面需要了解的是在此方法中，如何调用其它方法一

步步按照上图所示的分析框架完成分词过程为了简单起见，我们先不做未登录词的分析。

-"./"' $ )-#"" "

7((%1&$-"./-(011 "0/21-"./0/21%1&$

*



-(011 "1 $ 084-(011 " )(&$.&$$/1&$(+0& $1 $ 0

#&$.&$'.%1&$9:;1 $ 0%1&$71$" (4#&$.&$$($/')$



'""' $1 $ 0

')'(($/ "-')0$(')0$"' (& $4



在此处进行词性标注

'-#""-#"" "'"'.()"9  )<;')0$(')0$(4



6

４现在我们先不管词性标注，把注意力集中在二叉分词上，因为这个是分词的两大关键步骤的

第一步

?==基于 最短路径的中文词语粗分模型>>张华平 刘群

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

的速度。源代码在 %1&$0.. 的构造函数 %1&$（）内实现了词典和分词规则库的加载。

如下代码所示

%1&$%1&$

*

AA

')0$(()3)$BB0(!0$)0$34

'-#""()( $<$3)$BB<00$<34

AA

6

我们再跳进 () 方法具体分析它是怎样读取数据词典的看 () 的源代码

 $E &F9G;4