AnnotatedLucene中文版Lucene源码剖析资源-CSDN文库

Annotated

Lucene

5星 · 超过95%的资源需积分: 9 162 浏览量 2011-10-09 14:33:27 上传评论收藏 1.24MB PDF 举报

资源推荐

资源详情

资源评论

Javen-Studio 咖啡小屋 – Annotated Lucene（源码剖析中文版）

作者

naven

网站

http://javenstudio.org/

- 1 -

Annotated Lucene(源码剖析中文版)

Annotated Lucene 作者：naven

1 目录

Annotated Lucene(源码剖析中文版) ......................................................................................................... - 1 -

1 目录 ............................................................................................................................................................. - 1 -

2 Lucene 是什么 ............................................................................................................................................ - 3 -

2.1.1 强大特性 ............................................................................................................................. - 3 -

2.1.2 API 组成 .............................................................................................................................. - 4 -

2.1.3 Hello World! ..................................................................................................................... - 5 -

2.1.4 Lucene roadmap ................................................................................................................. - 6 -

3 索引文件结构 ............................................................................................................................................. - 7 -

3.1 索引数据术语和约定 ................................................................................................................. - 7 -

3.1.1 术语定义 ............................................................................................................................. - 7 -

3.1.2 倒排索引（inverted indexing） .................................................................................... - 8 -

3.1.3 Fields 的种类 .................................................................................................................... - 8 -

3.1.4 片断（segments） ............................................................................................................. - 8 -

3.1.5 文档编号（document numbers） ...................................................................................... - 9 -

3.1.6 索引结构概述 ..................................................................................................................... - 9 -

3.1.7 索引文件中定义的数据类型 ........................................................................................... - 10 -

3.2 索引文件结构 ........................................................................................................................... - 10 -

3.2.1 索引文件概述 ................................................................................................................... - 10 -

3.2.2 每个 Index 包含的文件 ................................................................................................... - 11 -

3.2.2.1 Segments 文件 ........................................................................................................ - 11 -

3.2.2.2 Lock 文件 ................................................................................................................ - 14 -

3.2.2.3 Deletable 文件 ...................................................................................................... - 14 -

3.2.2.4 Compound 文件（.cfs）......................................................................................... - 14 -

3.2.3 每个 Segment 包含的文件 ............................................................................................... - 15 -

3.2.3.1 Field 信息（.fnm） .............................................................................................. - 15 -

3.2.3.2 Field 数据（.fdx 和.fdt）.................................................................................. - 16 -

3.2.3.3 Term 字典（.tii 和.tis） .................................................................................... - 18 -

3.2.3.4 Term 频率数据（.frq）......................................................................................... - 21 -

3.2.3.5 Positions 位置信息数据（.prx） ....................................................................... - 23 -

3.2.3.6 Norms 调节因子文件（.nrm） ............................................................................... - 24 -

3.2.3.7 Term 向量文件 ........................................................................................................ - 25 -

3.2.3.8 删除的文档（.del）........................................................................................... - 28 -

3.3 局限性（Limitations） ............................................................................................................. - 29 -

4 索引是如何创建的 ................................................................................................................................... - 30 -

4.1 索引创建示例 ........................................................................................................................... - 30 -

Javen-Studio 咖啡小屋 – Annotated Lucene（源码剖析中文版）

作者

naven

网站

http://javenstudio.org/

- 2 -

4.2 索引创建类 IndexWriter ........................................................................................................... - 30 -

4.2.1 org.apache.lucene.index.IndexWriter ...................................................................... - 31 -

4.2.2 org.apache.lucene.index.DocumentsWriter .............................................................. - 33 -

4.3 索引创建过程 ........................................................................................................................... - 34 -

4.3.1 DocFieldProcessorPerThread.processDocument() .................................................... - 36 -

4.3.2 DocInverterPerField.processFields() ...................................................................... - 37 -

4.3.3 TermsHashPerField.addToken() .................................................................................... - 38 -

4.3.4 FreqProxTermsWriterPerField.newTerm()/addTerm() .............................................. - 39 -

4.3.5 TermVectorsTermsWriterPerField.newTerm()/addTerm() ........................................ - 42 -

5 索引是如何存储的 ................................................................................................................................... - 44 -

5.1 数据存储类 Directory ............................................................................................................ - 44 -

5.1.1 org.apache.lucene.store.Directory .......................................................................... - 44 -

5.1.2 org.apache.lucene.store.FSDirectory ...................................................................... - 44 -

5.1.3 org.apache.lucene.store.RAMDirectory .................................................................... - 45 -

5.1.4 org.apache.lucene.store.IndexInput ........................................................................ - 46 -

5.1.5 org.apache.lucene.store.IndexOutput ...................................................................... - 47 -

6 文档内容是如何分析的 ........................................................................................................................... - 49 -

6.1 文档分析类 Analyzer .............................................................................................................. - 49 -

6.1.1 org.apache.lucene.store.Analyzer ............................................................................ - 49 -

6.1.2 org.apache.lucene.store.StandardAnalyzer ............................................................ - 49 -

7 如何给文档评分 ....................................................................................................................................... - 50 -

7.1 文档评分类 Similarity .......................................................................................................... - 50 -

7.1.1 org.apache.lucene.search.Similarity ...................................................................... - 50 -

7.2 Similarity 评分公式 .............................................................................................................. - 51 -

Javen-Studio 咖啡小屋 – Annotated Lucene（源码剖析中文版）

作者

naven

网站

http://javenstudio.org/

- 4 -

 支持域检索（fielded searching），如标题、作者、正文等

 支持日期范围检索（date-range searching）

 可以按任意域排序（sorting by any field）

 支持多个索引的检索（multiple-index searching）并合并结果集（merged results）

 允许更新和检索（update and searching）并发进行（simultaneous）

跨平台解决方案（Cross-Platform Solution）

 以 Open Source 方式提供并遵循 Apache License，允许你可以在即包括商业应用也包括 Open Source

程序中使用 Lucene

 100%-pure Java（纯 Java 实现）

 提供其他开发语言的实现版本并且它们的索引文件是兼容的

2.1.2 API 组成

Lucene API 被分成（divide into）如下几种包（package）

1. org.apache.lucene.analysis

定义了一个抽象的 Analyser API，用于将 text 文本从一个 java.io.Reader 转换成一个 TokenStream，即

包括一些 Tokens 的枚举容器（enumeration）。一个 TokenStream 的组成（compose）是通过在一个

Tokenizer 的输出的结果上再应用 TokenFilters 生成的。一些少量的 Analysers 实现已经提供，包括

StopAnalyzer 和基于语法（gramar-based）分析的 StandardAnalyzer。

2. org.apache.lucene.document

提供一个简单的 Document 类，一个 document 只不过包括一系列的命名了（named）的 Fields（域），

它们的内容可以是文本（strings）也可以是一个 java.io.Reader 的实例。

3. org.apache.lucene.index

提供两个主要地饿类，一个是 IndexWriter 用于创建索引并添加文档（document），另一个是 IndexReader

用于访问索引中的数据。

4. org.apache.lucene.search

提供数据结构（data structures）来呈现（represent）查询（queries）： TermQuery 用于单个的词（individual

words）， PhraseQuery 用于短语，BooleanQuery 用于通过 boolean 关系组合（combinations）在一起的

queries。而抽象的 Searcher 用于转变 queries 为命中的结果（hits）。 IndexSearcher 实现了在一个单独

（single）的 IndexReader 上检索。

5. org.apache.lucene.queryParser

使用 JavaCC 实现一个 QueryParser。

6. org.apache.lucene.store

定义了一个抽象的类用于存储呈现的数据(storing persistent data)，即 Directory（目录），一个收集器

（collection）包含了一些命名了的文件（named files），它们通过一个 IndexOutput 来写入，以及一个

IndexInput 来读取。提供了两个实现，FSDirectory 使用一个文件系统目录来存储文件，而另一个

Javen-Studio 咖啡小屋 – Annotated Lucene（源码剖析中文版）

作者

naven

网站

http://javenstudio.org/

- 5 -

RAMDirectory 则实现了将文件当作驻留内存的数据结构（memory-resident data structures）。

7. org.apache.lucene.util

包含了一小部分有用（handy）的数据结构，如 BitVector 和 PriorityQueue 等。

2.1.3 Hello World!

下面是一段简单的代码展示如何使用 Lucene来进行索引和检索（使用 JUnit 来检查结果是否是我们预期的）：

为了使用 Lucene，一个应用程序需要做如下几件事：

1. 通过添加一系列 Fields 来创建一批 Documents 对象。

2. 创建一个 IndexWriter 对象，并且调用它的 AddDocument()方法来添加进 Documents。

3. 调用 QueryParser.parse()处理一段文本（string）来建造一个查询（query）对象。

4. 创建一个 IndexReader 对象并将查询对象传入到它的 search()方法中。

// Store the index in memory:

Directory directory = new RAMDirectory();

// To store an index on disk, use this instead:

//Directory directory = FSDirectory.getDirectory("/tmp/testindex");

IndexWriter iwriter = new IndexWriter(directory, analyzer, true);

iwriter.setMaxFieldLength(25000);

Document doc = new Document();

String text = "This is the text to be indexed.";

doc.add(new Field("fieldname", text, Field.Store.YES,

Field.Index.TOKENIZED));

iwriter.addDocument(doc);

iwriter.optimize();

iwriter.close();

// Now search the index:

IndexSearcher isearcher = new IndexSearcher(directory);

// Parse a simple query that searches for "text":

QueryParser parser = new QueryParser("fieldname", analyzer);

Query query = parser.parse("text");

Hits hits = isearcher.search(query);

assertEquals(1, hits.length());

// Iterate through the results:

for (int i = 0; i < hits.length(); i++) {

Document hitDoc = hits.doc(i);

assertEquals("This is the text to be indexed.", hitDoc.get("fieldname"));

}

isearcher.close();

directory.close();

剩余52页未读，继续阅读

评论收藏

内容反馈

zqhxuyuan

2013-03-11

内容很好，不过10分资源太高了吧。照顾一下一些新手哈。是http://javenstudio.org/blog/annotated-lucene ，这个是网页版的。
zceolrj

2013-11-01

好东西，物有所值
yaven

2011-10-28

很清晰！表示10分钟之后能评论比1小时之后能评论好多了，还加入了待评论的列表，不错啊！
wyplovezss

2013-03-26

内容很好，10分资源太高。
wphero009

2015-11-11

很nice，个人觉得luncene必读书籍