WikiSearchMachine:Python 中的维基百科转储搜索引擎

维基搜索机 Python 中的维基百科转储搜索引擎 为 IIIT-H 2015 年Spring信息检索和提取课程编写 概括 Wiki Parser 使用python 的SAX 解析器来解析Wiki 标记的标签。 Parser.py 将被执行以进行解析和索引。 Tokenizer 和 Stemmer (PorterStemmer) 来自 ntlk，必须安装。 标题、文本、信息框、类别是大小写折叠、标记化、词干化和索引的。 搜索查询可以是常规词，也可以是字段查询，如 t:lord b:rings 。 Searcher.py 是主要的搜索文件 run_index.sh 和 run.sh 分别包含 Parser.py 和 Searcher.py 执行命令 给定的问题 给定的问题是使用维基百科数据设计和开发可扩展且高效的搜索引擎。 要求： ~50 GB 维基百科数据（下载的压缩文件为 ~11GB）