搜索引擎-搜索引擎精简摘要缓存方法研究.pdf

摘要

I

摘要

在应答一个来自用户的查询（query）时，现代搜索引擎会返回给用户前 个

相关的查询结果及其摘要。摘要是一小段摘选于文档的文本，该段文本归纳了

查询词与文档的相关关系。生成摘要既需要消耗大量系统 I/O 来检索文档，又

需要消耗大量的 CPU 来计算摘要。搜索引擎常常使用缓存技术来减少摘要生成

过程的延迟。

固态硬盘（Solid State Drive，SSD）是一种新兴的存储介质，它的 I/O 效

简摘要需恢复为完整摘要。针对精简摘要在恢复过程引起的文档检索，本文提

出了使用精简文档（Short Document）替换完整文档的方法。精简文档同样也

能够提高文档缓存的空间利用率。

本文的主要工作包括：

1. 为了减少平均摘要生成延迟，本文设计了摘要的精简表示方法。精简摘

要记录摘要在文档中的位置信息。在返回摘要前，精简摘要需要经过

计算才能恢复成完整摘要。在相同的缓存空间下，精简摘要缓存的命

中率远高于完整摘要缓存命中率。精简摘要缓存能够大量避免重复摘

要计算。精简摘要恢复完整摘要的过程会引起文档检索以及一小部分

额外计算，额外计算增加的摘要生成延时远小于精简摘要高命中率减

摘要

II

摘要恢复过程的 I/O。配套精简摘要缓存，精简文档缓存能够进一步提

高摘要生成效率。

通过实验我们发现，精简缓存使摘要缓存的空间利用率提高了 15 倍，精

简文档缓存的空间利用率提高了 6 倍。

关键词：SSD；搜索引擎；摘要；缓存

Abstract

In response to a user query, search engines return the top-k relevant results,

each of which contains a small piece of text, called a snippet, extracted from the

caching: instead of caching the whole snippet, we only cache snippet metadata

which describe how to retrieve the snippet from the document. While this approach

increases I/O time, the cost is insignificant on SSDs. The major benefit of fragment

caching is the ability to cache the same snippets （without loss of quality）, while

only using a fraction of the memory the traditional method requires. In our

experiments, we find around 10 times less memory is required to achieve

comparable snippet generation times for dynamic memory, and we consistently

achieve a vastly greater hit ratio for static caching. Recovering snippet from

fragment may introduce a lot of I/O. To reduce some I/O and store more texts in

memory, we introduce short document cache to replace document cache. Short

Abstract

IV

Key words:SSD; search engine; snippet; cache

目录

V

2.1.1 搜索引擎架构 ............................................................................................................ 5

2.1.2 常见搜索引擎缓存 .................................................................................................... 7

2.1.3 常见缓存策略 ............................................................................................................ 9

2.2.1 Lucene ...................................................................................................................... 10

2.2.2 Solr ............................................................................................................................ 11

2.2.3 中型搜索引擎搭建工具 ........................................................................................... 11

2.4.1 摘要生成流程 .......................................................................................................... 15

2.4.2 压缩类优化方法 ...................................................................................................... 16