Java实现基于内存的搜索引擎设计和实现.zip

# 基于内存的搜索引擎设计和实现 ## 需求分析 ## 题目要求 实现一个基于内存的英文全文检索搜索引擎，需要完成以下功能： 功能 1：将指定目录下的一批.txt 格式的文本文件扫描并在内存里建立倒排索引，这里面包含必须的子功能包括： 读取文本文件的内容； 将内容切分成一个个的单词； 过滤掉其中一些不需要的单词,例如数字、停用词（the, is and 这样的单词）、过短或过长的单词（例如长度小于 3 或长度大于 20 的单词）； 利用 Java 的集合类在内存里建立过滤后剩下单词的倒排索引； 内存里建立好的索引对象可以序列化到文件，同时可以从文件里反序列化成内存里的索引对象； 可以在控制台输出索引的内容。 功能 2：基于构建好的索引，实现单个搜索关键词的全文检索，包含的子功能包括： 根据搜索关键词得到命中的结果集合； 可以计算每个命中的文档的得分，并根据文档得分对结果集排序； 在控制台显示命中的文档的详细信息，如文档的路径、文档内容、命中的关键词信息（如在文档里出现次数）、文档得分； 功能 3：基于构建好的索引，实现二个搜索关键词的全文检索。包含的子功能包括： 支持这二个关键词的与或查询。与关系必须返回同时包含这二个单词的文档集合，或关系返回包含这二个单词中的任何一个的文档集合； 可以计算每个命中的文档的得分，并根据文档得分对结果集排序； 在控制台显示命中的文档的详细信息，如文档的路径、文档内容、命中的关键词信息（如在文档里出现次数）、文档得分； 功能 4：基于构建好的索引，实现包含二个单词的短语检索，即这二个单词必须在作为短语文档里出现，它们的位置必须是相邻的。这个功能为进阶功能。 除了以上功能上的要求外，其他要求包括： 针对搜索引擎的倒排索引结构，已经定义好了创建索引和全文检索所需要的抽象类和接口。学生必须继承这些预定义的抽象类和和实现预定义接口来完成实验的功能，不能修改抽象类和接口里规定好的数据成员、抽象方法；也不能在预定义抽象类和接口里添加自己新的数据成员和方法。但是实现自己的子类和接口实现类则不作任何限定。 自己实现的抽象类子类和接口实现类里的关键代码必须加上注释，其中每个类、每个类里的公有方法要加上 Javadoc 注释，并自动生成 Java API 文档作为实验报告附件提交。 使用统一的测试文档集合、统一的搜索测试案例对代码进行功能测试，构建好的索引和基于统一的搜索测试案例的检索结果最后输出到文本文件里作为实验报告附件提交。 本实验只需要基于控制台实现，实验报告里需要提供运行时控制台输出截屏。 关于搜索引擎的倒排索引结构、相关的抽象类、接口定义、还有相关已经实现好的工具类会在单独的 PPT 文档里详细说明。同时也为学生提供了预定义抽象类和接口的 Java API 文档和 UML 模型图。 需求分析 自行对题目要求进行细化、补充， 例如发生异常的条件。 除上述题目要求以外，额外的细化，补充分析如下： 功能 1：将指定目录下的一批.txt 格式的文本文件扫描并在内存里建立倒排索引 对给定的目录，逐个读取每一个文本文件，建立存储每个文档信息的结构(document)用于存储每个文档的以下信息：文档编号、文档路径、文档内容； 将每个文本文件的内容切分成一个个的单词，针对每一个单词构建包含此单词信息的三元组(TermTuple)：单词文本、出现的位置、出现的次数； 对给定目录的所有文本文件完成三元组的构建和去重之后建立索引：索引包含两个结构，由文档编号和文档路径构成，用于查询文档；由词语和对应的 postinglist 构成，用于查找具体词条 索引的第一个结构使用 map 结构建立即可；第二个结构需要遍历每一个文档的 TermTuple 来构建每一个词语的 PositionList 索引对象的序列化与反序列化过程中要注意，map 等引用数据在序列化和反序列化的时候不能直接操作，而需要遍历每一个成员进行遍历，可能的话需要调用成员的序列化/反序列化方法，进行递归操作 可以在控制台输出索引的内容，完成相应的 toString 方法，可能的话需要调用子成员的 toString 方法 功能 2：基于构建好的索引，实现单个搜索关键词的全文检索 命中的结果集合需要使用一定的数据结构存储，此处通过数组来保存 计算每个命中的文档的得分时简单地根据在文档中的出现次数来进行计分； 注意对构建好的索引检索时可能为空的情况，针对这种情况要有相应的处理 功能 3：基于构建好的索引，实现二个搜索关键词的全文检索。 支持二个关键词的与或查询。先对分别两个关键词进行单词查询，针对查询结果，对于不同的要求（与/或）进行查询结果的筛选或合并，同样要注意无结果的处理； 可以计算每个命中的文档的得分进行排序，在控制台显示命中的文档的详细信息，这两个功能的实现与功能 2 中类似； ## 系统设计 ## 概要设计 介绍设计思路、原理。将一个复杂系统按功能进行模块划分、建立模块的层次结构及调用关系、确定模块间的接口及人机界面等。 要有总体结构、总体流程（图）。 设计每个模块的实现算法（处理流程）、所需的局部数据结构。具体介绍每个模块/子程序的功能、入口参数、出口参数、流程（图）等。  图 1 总体结构流程图 主体流程分为三个部分，跟工程所分的三个 package 一样(index, parse, query)，分别为以下内容 对给定的目录下的文件进行扫描，将每一个文本文件通过 StringSplitter 拆分为单词，同时使用 Filter 对不满足要求的单词进行筛选，将单词存储为 TermTuple 格式，并以此来构建 Document 对象。 对每一个 Document 建立索引，分为两个部分，对于文档自身的索引以及对于词条的索引，对于后者，我们通过不断地读取 Document 中的 TermTuple 来构建针对每一个单词的 Postinglist。接着完成序列化以及反序列的功能 词条查询则直接在对应的 term 到 postinglist 的 map 中寻找对应的词语，并将结果包装为 Hit 即可 ## 详细设计 相关存储结构 构建索引用到的相关类的 UML 图如图 2 所示  图 2 相关存储结构 UML 图 Term：本质上是对于 String 类型的简单包装，所以实现起来非常简单，在此不再赘述； TermTuple：对于某一次单词出现情况的包装，主要有三个成员，term, freq, curPos，分别表示单词本身，出现的频率(默认为 1)，以及在某一个文档中出现的位置； Document： 保存每一个文档的基本信息，包括文档所在路径 docPath，文档唯一编号 docId，同时还有组成整个文档的所有单词所构成的 TermTuple 的 List。实现了 addTuples 方法将传入的 Tuple 添加到三元组中，contains 方法判断三元组中是否存在传入的 Tuple，以及 getTuple 方法根据传入的下标获取