中文分词系统

ICTCLAS

ICTCLAS

ICTCLAS

ICTCLAS

分词系统研究（一）

收藏

ICTClAS 分词系统是由中科院计算所的张华平 、 刘群所开发的一套获得广泛好评的分词系统

，

难能可贵的是该版的 Free 版开放了源代码，为我们很多初学者提供了宝贵的学习材料。

但有一点不完美的是 ， 该源代码没有配套的文档 ， 阅读起来可能有一定的障碍 ， 尤其是对 C/C++

不熟的人来说 . 本人就一直用 Java/VB 作为主要的开发语言 ,C/C++ 上大学时倒是学过 , 不过工作之

后一直没有再使用过 , 语法什么的忘的几

平和刘群发表的一些相关论文资料 , 还是

可以窥探出主要的思路 .

该分词系统的主要是思想是先通 过

CHMM( 层叠形马尔可夫模型 ) 进行分词 ,

通过分层 , 既增加了分词的准确性 , 又保证

了分词的效率 . 共分五层 , 如下图一所示 :

基本思路 : 先进行原子切分 , 然后在此基础

上进 行 N- 最短路径粗切分 , 找出 前 N 个最

符合的切分结果 , 生成二元分词表 , 然后生

成分词结果 , 接着进行词性标注并完成主

前，完成词典的加载过程，即生 成

m_ICTCLAS 对象时调用构造函数完成

词典库的加载。关于词典结构的分析，请参加分词系统研究（二）。

void CICTCLAS_WinDlg::OnBtnRun()

{

......

// 在此处进行分词和词性标记

解的是在此方法中 ， 如何调用其它方法一步步按照上图所示的分析框架完成分词过程 . 为了简单起见

，

我们先不做未登录词的分析。

//Paragraph Segment and POS Tagging

bool CResult::ParagraphProcessing(char *sParagraph,char *sResult)

{

........

}

m_dSmoothingPara,m_dictCore,m_dictBigram,nCount);

......

// 在此处进行词性标注

m_POSTagger.POSTagging(m_Seg.m_pWordSeg[nIndex],m_dictCore,m_dictCore);

......

}

４ . 现在我们先不管词性标注，把注意力集中在二叉分词上，因为这个是分词的两大关键步骤的第一

步 .

参考文章 :

1.<< 基于层叠隐马模型的汉语词法分析 >>, 刘群 张华平等

2.<< 基于 N- 最短路径的中文词语粗分模型 >>, 张华平 刘群

ICTCLAS

ICTCLAS

ICTCLAS

ICTCLAS

分词系统研究（二）

收藏

ICTCLAS 的词典结构是理解分词的重要依据，通过这么一个数据结构设计合理访问速度高效的词典

才能达到快速准备的分词的目的。

通过阅读和分析源代码 ， 我们可以知道 ， 是程序运行初 ， 先把词典加载到内存中 ， 以提高访问的速度

。

源代码在 Result.cpp 的构造函数 CResult （）内实现了词典和分词规则库的加载。如下代码所示 :

}

我们再跳进 Load 方法具体分析它是怎样读取数据词典的 , 看 Load 的源代码 :

bool CDictionary::Load(char *sFilename,bool bReset)

{

FILE *fp;

int i,j,nBuffer[3];

// 首先判断词典文件能否以二进制读取的方式打开

if((fp=fopen(sFilename,"rb"))==NULL)

return false;//fail while opening the file

DelModified();// 删除掉修改过的 , 可以先不管它

for(i=0;i<CC_NUM;i++)

{

fread(&(m_IndexTable[i].nCount),sizeof(int),1,fp);

if(m_IndexTable[i].nCount>0)

m_IndexTable[i].pWordItemHead=new

WORD_ITEM[m_IndexTable[i].nCount];

else

{

{

// 读取三字整数 , 分别为频度 (Frequency)/ 词内容长度 (WordLen)/ 句柄 (Handle)

// 读取词内容

if(nBuffer[1])//String length is more than 0

{

fread(m_IndexTable[i].pWordItemHead[j].sWord,sizeof(char),nBuffer[1],fp);

m_IndexTable[i].pWordItemHead[j].sWord[nBuffer[1]]=0;

}

}

fclose(fp);

return true;

}

看完上面的源代码 , 词典的结构也应该基本清楚了 , 如下图一所示 :