Solr5.5搜索引擎之分词原理说明.docx

Solr5.5 搜索引擎之分词原理说明 Solr5.5 搜索引擎之分词原理说明是指 Solr5.5 搜索引擎内部使用的分词原理，旨在帮助开发者自定义自己的分词器时掌握分词的基础知识。 1. 中文分词 中文分词是指将中文汉字序列切分成有意义的词的过程。中文分词是自然语言处理技术中的一部分，许多西文处理方法对中文不能直接采用，因为中文必须有分词这道工序。中文分词是其他中文信息处理的基础，搜索引擎只是中文分词的一个应用。其他的比如机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。 在中文分词中，需要考虑到中文的特点，例如英文是以词为单位的，词和词之间是靠空格隔开，而中文时以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子 "I am a student"，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道 "student" 是一个单词，但是不能很容易明白“学”，“生”两个字合起来才表示一个词。 2. 搜索引擎和中文分词 搜索引擎的工作原理是基于倒排索引的机制，倒排索引是指将每篇文章的词语和文章编号建立对应关系表。例如，如果我想看看哪篇文章中含有“中文分词”这个词语，我可以直接在对应关系表看一下“中文分词”对应着文章 1,3,5,7。结果是文章 1,3,5,7 中含有“中文分词”。 搜索引擎需要中文分词器来完成分词工作，分词器在创建索引过程和用户查询过程都会被使用到。中文分词对搜索引擎来说十分重要，但如果分词速度太慢，即使准确性再高，对于搜索引擎来说也是不可用的，因为搜索引擎需要处理数以亿计的网页，如果分词耗用的时间过长，会严重影响搜索引擎内容更新的速度。 3. 中文分词类型 中文分词类型有多种，例如基于词典的字符串匹配的分词方法、基于统计的分词方法、基于机器学习的分词方法等。基于词典的字符串匹配的分词方法按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。其他的分词方法还有基于统计的分词方法、基于机器学习的分词方法等。 在 Solr5.5 中中文分词可以使用 Lucene 的分词器，例如 StandardTokenizerFactory、CJKTokenizerFactory 等。这些分词器可以根据不同的语言和需求进行选择和配置。 Solr5.5 搜索引擎之分词原理说明对于开发者自定义自己的分词器时掌握分词的基础知识非常重要。同时，中文分词对搜索引擎来说十分重要，需要根据实际情况选择合适的分词方法和工具。