中文分词器ShuzhenAnalyzer-1.1.0提供下载

ShuzhenAnalyzer中文分词器 版本：1.1.0 概述 ShuzhenAnalyzer是一款java编写的基于字典分词的中文分词器,在org.apache.lucene.analysis下建立目录cn,然后将解压后的类文件(.class)放在此cn下 改进说明： 与第一个版本(1.0.0)相比，此版本做了如下方面的改进： 1、彻底解决了当字典文件中的条数很多时出现内存溢出的错误. 上一个版本中，在txt字典库中的条目很多，比如5000条时，分词的速度就会很慢了;如果达到20000条，对那些内存配置在1.5G的pc，往往就会很容易报内存溢出错误了(依据是：我的机子配置是1.5G，字典里条目数量是220199，如果我打开了一些不多的程序，那么在我建索引的时候会报内存溢出的错误)，而在此版本中，通过提供一个非txt的索引字典库，在保障速度的前提下，彻底地解决了这一问题，让字典库里的条目数量(当然也是有一个极限的)不再成为分词的一个问题,我这里测试的是字典库里有220199个条目，对786条记录进行分词，用时是3分钟 2、修改了上一版本中在分词时的一个小bug，上一个版本在分词时，如果在字典中只存在“功夫熊猫”这一词，而要被分的词为“功夫熊是什么”时，会分为:功夫熊|是|什|么，在此版本中修改为了功|夫|熊|是|什|么 3、增加了对字典库(非txt)的管理功能，能够向字典库中单个或批量增加条目，这样有利于维护已经建好的字典库，而不用费时地再次从txt字典库中导入，另外在增加条目时，如果条目已存在则不会再次增加，避免了字典库的条目冗余 使用说明： 一、此中文分词器是与lucene一起使用的，其使用方式与使用lucene的其他分词器方法一样，写法如： IndexWriter writer = new IndexWriter(path,new ShuzhenAnalyzer(), true); 二、配置文件为dict.properties 配置字典的存放位置，存放位置为系统的类根目录，比如web系统的类根目录为：d:/project/WEB-INF/classes，则将dict.properties放在d:/project/WEB-INF/classes下，格式参见随系统带的例子： pDict=D:/project/dict/dict.txt //txt字典文件存放路径 iPath=D:/project/index/dict //索引字典文件存放路径 其中左边的参数pDict、iPath是不能改变的，等号右边随dict.txt存放位置而变 三、字典文件以及字典的编写 txt字典文件为：dict.txt，字典的编写为每行一个分词，例子可参见随带的dict.txt 索引字典文件需要通过程序来生成 四、往索引字典库中批量添加条目 1、先建一个dict.txt(不是txt字典文件) 2、把要批量增加的条目按照txt字典里的格式放入dict.txt中 3、将dict.txt放在txt字典文件存放的目录里（这时你要将你原来的txt字典文件移除） 五、相关的调用见随带的ShuzhenDemo.java 六、在建索引的过程中，对一些特殊字符可能会报错，但不会影响索引的创建以及使用 七、在默认情况下，也就是诸如IndexWriter writer = new IndexWriter(path,new ShuzhenAnalyzer(), true);的情况下，分词器会使用索引字典库，如果想使用txt字典库，则需这样调用IndexWriter writer = new IndexWriter(path,new ShuzhenAnalyzer("txt"), true);但这样的情况适合于字典条目少或不应用字典的情况 历史版本记录 第一版的下载地址可参见：http://www.blogjava.net/bbmonkey62/archive/2008/06/29/211559.html 版权声明 使用用途无限制，可以用于个人学习或商业用途，但如果将类文件反编译后，请保留ShuzhenAnalyzer和ShuzhenTokenizer以及其他类的名字,谢谢合作 关于编写者 作者：bbmonkey62 从事互联网行业，目前在北京一家互联网企业任软件工程师 联系方式 email：bbmonkey62@163.com 作者java技术博客 http://www.blogjava.net/bbmonkey62