非常好用的中文分词，直接能用

目前的搜索引擎，大多是基于一种称为倒排索引的结构[1]。以什么做为索引的Key值，直接影响到整个搜索引擎的准确度、召回率[2]、速度。我们先看看不使用中文分词的情况。 如果不使用中文分词，可以采用单个汉字索引方式。例如，雅虎，先索引'雅'字，然后再索引'虎'字。同样，对于一篇文章，先把所有的汉字都单独索引一次，并记录他们的位置。搜索过程中，也是先找'雅'字的所有文档，再找'虎'字的所有文档，然后做交叉'与'运算，即包含这两个字，而且位置连续的文档才会做为符合要求的结果。这种方式是最基本的索引方式，现在有些小引擎中还在使用。但这里存在一个很有挑战性的问题：总共的常用汉字是3000多个，我们每次查询过程中，进行'与'操作的计算量会相当大，对于大数据量搜索引擎来说(超过10亿的文档)，每天上亿次查询，这样的索引结构，无疑是对硬件和算法的极大挑战。