Solr5.5搜索引擎之分词原理说明.docx
需积分: 9 99 浏览量
2019-11-26
18:13:51
上传
评论
收藏 157KB DOCX 举报
Solr5.5 搜索引擎之分词原理说明
1．中文分词
1.1 概念
众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文时以字为单位，
句子中所有的字连起来才能描述一个意思。例如，英文句子 I am a student，用中文则为：
“我是一个学生”。计算机可以很简单通过空格知道 student 是一个单词，但是不能很容易明
白“学”，“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文
分词，有些人也称为切词。“我是一个学生”的分词结果是：“我 是 一个 学生”。摘自
hp://www.williamlong.info/archives/333.html
1.2 应用
目前在自然语言处理技术中，中文处理技术比西文处理技术要落后很大一段距离，很
多西文的处理方法对中文不能直接采用，就是因为中文必须有分词这道工序。中文分词是
其他中文信息处理的基础，搜索引擎只是中文分词的一个应用。其他的比如机器翻译
（MT）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。因为中文需
要分词，可能会影响一些研究，但同时也为一些企业带来机会，因为国外的计算机处理技
术要想进入中国市场，首先也要解决中文分词问题。
分词准确性对搜索引擎来说十分重要，但如果分词速度太慢，即使准确性再高，对于
搜索引擎来说也是不可用的，因为搜索引擎需要处理数以亿计的网页，如果分词耗用的时
间过长，会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来说，分词的准确性和
速度，二者都需要达到很高的要求。
剩余11页未读，继续阅读
评论0
最新资源