面向主题的中文搜索引擎的设计与实现_陈静_北京大学硕士论文

WWW网络的迅猛增长使得搜索引擎面临了前所未有的挑战，搜索引擎如何适应这种规模的急剧膨胀，成为一个备受关注的问题。面向主题搜索引擎可以有选择性的抓取与主题相关的网页。选取的对象是一个或一组事先预定义的主题，其特征由样本网页标志，而不是关键词。一般性的搜索引擎总是抓取尽量多的网页以满足所有可能的查询请求；而主题搜索被设计为只抓取与选定主题相关的网页。这不仅能够大大减少系统对硬件和网络资源的需求，而且还有助于提高抓取的准确率和搜索结果的更新速度。 本文首先对比通用搜索引擎与主题搜索引擎的区别，总结主题搜索引擎的优点；然后介绍目前世界上主题搜索引擎技术的发展状况。接着，综述了面向主题中文搜索引擎的设计，详细介绍涉及该领域的三个核心技术：文档分类技术、中文处理技术和网页搜集预测技术。对于以上三种技术，我们在简述已知算法的基础上，都阐述了具体系统的实现方案。其中中文切词问题作为工作的重点，在文章中有比较详尽的介绍，包括中文处理的背景知识，中文切词软件的基本原理和中文切词词典的改进。