readme
一、ICTCLAS简介
中文词法分析是中文信息处理的基础与关键。中国科学院计算技术研究所在多年研究工作积累的基础上,研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System),主要功能包括中文分词;词性标注;命名实体识别;新词识别;同时支持用户词典。我们先后精心打造五年,内核升级6次,目前已经升级到了ICTCLAS3.0。ICTCLAS3.0分词速度单机996KB/s,分词精度98.45%,API不超过200KB,各种词典数据压缩后不到3M,是当前世界上最好的汉语词法分析器。
二、ICTCLAS特色
1、国内和国际权威的公开评测、三万客户的认可
有些公司为了商业目的,关门自测,自称准确度99.50%,没有介绍测试环境和测试方法,封闭测试或者小规模的开放测试准确度100%都不足为奇的,ICTCLAS1.0在国内973专家组组织的评测中活动获得了第一名,ICTCLAS2.0在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名,具体的参见系统评测部分。这些都是权威机构进行大规模现场开放测试的结果,真实可信。
目前,ICTCLAS已经向国内外的企业和学术机构颁发了30,000多份授权,其中包括3721、NEC、中华商务网、硅谷动力、云南日报等企业,新疆大学、清华大学、华南理工、麻省大学;同时,ICTCLAS广泛地被《科学时报》、《人民日报》海外版、《科技日报》等多家媒体报道。您可以访问Google进一步了解ICTCLAS的应用情况。
2、综合性能最优
分词系统能否达到实用性要求主要取决于两个因素:分词精度与分析速度,这两者相互制约,难以平衡。大多数系统往往陷入“快而不准,准而不快”的窘境。我们研制出了完美PDAT大规模知识库管理技术(200510130690.3),在高速度与高精度之间取得了重大突破,该技术可以管理百万级别的词典知识库,单机每秒可以查询100万词条,而内存消耗不到知识库大小的1.5倍。基于该技术,ICTCLAS3.0分词速度单机996KB/s,分词精度98.45%,API不超过200KB,各种词典数据压缩后不到3M,是当前世界上最好的汉语词法分析器。
3、统一的语言计算理论框架
汉语分词牵涉到汉语分词、未定义词识别、词性标注以及语言特例等多个因素,大多数系统缺乏统一的处理方法,往往采用松散耦合的模块组合方式,最终模型并不能准确有效地表达千差万别的语言现象,而ICTCLAS采用了层叠隐马尔可夫模型(Hierarchical Hidden Markov Model),将汉语词法分析的所有环节都统一到了一个完整的理论框架中,获得最好的总体效果,相关理论研究发表在顶级国际会议和杂志上,从理论上和实践上都证实了该模型的先进性。
4、全方位支持各种环境下的应用开发
ICTCLAS全部采用C/C++编写,支持Linux、FreeBSD及Windows系列操作系统,支持C/C++/C#/Delphi/Java等主流的开发语言。
5、应需而变,量身定做
所有功能模块均可拆卸组装,ICTCLAS有GB2312和BIG5版本,可分别处理目简繁体中文;支持当前广泛承认的分词和词类标准,包括计算所词类标注集ICTPOS3.0,北大标准、滨州大学标准、国家语委标准、台湾“中研院”、香港“城市大学”;用户可以直接自定义输出的词类标准,定义输出格式;用户可以根据自己的需求,进行量身自助式定做适合自己的分词系统。
三、使用方法
ICTCLAS以组件形式提供给使用者,调用方法请参照对应的Demo程序。如有定制需求,另行商议。
目前本官网提供的api版本如下:
linux_c_32
linux_c_64
linux_JNI_32
linux_JNI_64
windows_c_32
windows_c_64
windows_csharp_32
windows_csharp_64
windows_JNI_32
windows_JNI_64
相应的Demo程序:
Linux_CDemo_32Bit_sample
Linux_CDemo_64Bit_sample
Linux_JNIDemo_32Bit_sample
Linux_JNIDemo_64Bit_sample
windows_cDemo_32_sample
windows_cDemo_64_sample
win_csharp_32_sample
win_csharp_64_sample
Win_JNI_32_sample
Win_JNI_64_sample
四、Demo程序演示
1、Linux_CDemo_32Bit_sample
#rm test -f
#make
#./test
2、Linux_CDemo_32Bit_sample
#rm test -f
#make
#./test
3、Linux_JNIDemo_32Bit_sample
#javac TestICTCLAS30.java
#java TestICTCLAS30
4、Linux_JNIDemo_64Bit_sample
#javac TestICTCLAS30.java
#java TestICTCLAS30
5、windows_cDemo_32_sample
用vs2005打开工程——>编译——>执行
6、windows_cDemo_64_sample
用vs2005打开工程——>选择x64编译——>执行
7、win_csharp_32_sample
用vs2005打开工程——>选择debug编译——>执行
8、win_csharp_64_sample
用vs2005打开工程——>选择debug/x64编译——>执行
9、Win_JNI_32_sample
#javac TestICTCLAS30.java
#java TestICTCLAS30
10、Win_JNI_64_sample
#javac TestICTCLAS30.java
#java TestICTCLAS30
五、联系方式
杨 剑
中科计算技术转移中心 网络智能事业部
地址:北京市海淀区科学院南路10号中科院计算所攻关楼4层 邮编:100190
电话:+86-10-62600480/1/2 分机807
传真:+86-10-62600480
手机:+86-13910154064
邮箱:ictclas@ictclas.org
MSN: yjgreabc@hotmail.com;
网址:http://ictclas.org
Steven Yang
Web Intelligence Division
Technology Transferring Center of Institute of Computing Technology (TTC-ICT)
Address:
4th Floor, Gongguan Building,Institute of Computing Technology,
NO. 10, South Road, Kexueyuan, Haidian District
Beijing, P.R.China
P.O.Box 2704 Zip Code 100190
Tel: +86-10-62600480/1/2 ext. 807
Fax: +86-10-62600480
Mobile:+86-13910154064
E-mail:ictclas@ictclas.org
MSN:yjgreabc@hotmail.com
Homepage:http://ictclas.org
评论9
最新资源