2022-2023山东大学软件学院信息检索知识点总结

2022-2023山东大学软件学院信息检索知识点总结 信息检索是指从海量的非结构化数据中找出满足用户信息需求的资料的过程。信息检索模型描述了文档、查询和匹配函数之间的数学模型。搜索引擎的原理是根据用户的查询，计算每个文档和查询之间的相关度，然后根据相关度对文档进行排序和输出。 信息检索的主要挑战是查询和文档间的语义鸿沟，如何确定文档和查询之间的相关度是信息检索的核心问题。信息检索模型可以分为两个部分：索引和搜索。索引是对文档的预处理，包括爬虫抓取、词条化、停用词去除、词干还原等步骤；搜索是根据用户的查询，计算每个文档和查询之间的相关度，然后对文档进行排序和输出。 Lucene 是一个全文检索引擎工具包，提供了完整的查询引擎和索引引擎。创建索引的步骤包括爬虫抓取、词条化、停用词去除、词干还原等。词条化是将文档和查询中的词条“归一化”成一致的形式，包括词项词典文档解析、词条化、词项归一化等步骤。词干还原是将单词两端词缀的启发式过程，porter 算法是常用的词干还原算法。 中文分词是信息检索中一个重要的步骤，包括基于字符串匹配的分词、基于词典的方法、基于统计的分词和基于理解的分词方法等。HMM 是一种常用的中文分词方法，基于 Hidden Markov Model，参数是通过学习得到的。Viterbi 算法是 HMM 中的一个重要算法，用于求解状态值序列。 检索排序是信息检索的最后一步，包括精确 top K 检索和加速方法。快速计算余弦相似度和堆排序算法是常用的检索排序算法。索引去除、胜者表和簇剪枝方法是加速检索排序的方法。 信息检索是一个复杂的过程，包括信息的获取、表示、存储、组织和访问等步骤。信息检索模型是一个数学模型，描述文档、查询和匹配函数之间的关系。搜索引擎的原理是根据用户的查询，计算每个文档和查询之间的相关度，然后对文档进行排序和输出。