Lucene倒排原理.docx资源-CSDN文库

4星 · 超过85%的资源需积分: 10 50 浏览量 2008-12-11 13:04:42 上传评论收藏 18KB DOCX 举报

资源推荐

资源详情

资源评论

Lucene 倒排原理

Lucene 的索引排序是使用了倒排序原理。

该结构及相应的生成算法如下：

设有两篇文章 1 和 2

文章 1 的内容为：Tom lives in Guangzhou,I live in Guangzhou too.

文章 2 的内容为：He once lived in Shanghai.

1. 由于 lucene 是基于关键词索引和查询的，首先我们要取得这两篇文章的关键词，通常我

们需要如下处理措施

a. 我们现在有的是文章内容，即一个字符串，我们先要找出字符串中的所有单词，即分词。

英文单词由于用空格分隔，比较好处理。中文单词间是连在一起的需要特殊的分词处理。

b. 文章中的”in”, “once” “too”等词没有什么实际意义，中文中的“的”“是”等字通常也无具体含

义，这些不代表概念的词可以过滤掉，这个也就是在《 Lucene 详细分析》中所讲的

StopTokens

c. 用户通常希望查“He”时能把含“he”，“HE”的文章也找出来，所以所有单词需要统一大小写。

d. 用户通常希望查 “ live” 时能把含 “ lives” ， “ lived” 的文章也找出来，所以需要把

“lives”，“lived”还原成“live”

e. 文章中的标点符号通常不表示某种概念，也可以过滤掉,在 lucene 中以上措施由 Analyzer

类完成,经过上面处理后:

文章 1 的所有关键词为：[tom] [live] [guangzhou] [i] [live] [guangzhou]

文章 2 的所有关键词为：[he] [live] [shanghai]

2. 有了关键词后，我们就可以建立倒排索引了

上面的对应关系是：“文章号”对“文章中所有关键词”。倒排索引把这个关系倒过来，变成：

“关键词”对“拥有该关键词的所有文章号”。文章 1，2 经过倒排后变成

关键词

文章号

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

内容反馈

wypxjtu

2013-05-18

写的不错，适合于和我一样对数据索引的小白来扫盲

thundersssss

粉丝: 26
资源: 8

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip