实验报告——构建中文分词搜索引擎
本实验的目标是利用开源工具Nutch和IKAnalyzer构建一个中文分词搜索引擎，旨在理解搜索引擎的基本工作流程，掌握网页爬取、分词处理以及搜索功能的实现。实验中，主要涉及的技术包括搜索引擎基础、Nutch的使用、Lucene的布尔检索以及IKAnalyzer的集成。
实验环境的配置至关重要。这里选择了Ubuntu 11.10作为操作系统，搭配JDK 1.7.0_03。Nutch 0.9被用于网页抓取，其配置中，设定初始抓取网址为www.aqsiq.gov.cn，并通过调整crawl-urlfilter.txt过滤器，仅保留aqsiq.gov.cn域下的网页。通过执行bin/nutch crawl命令，可以开始网页抓取，并在nutch-0.9目录下生成crawl文件夹存储结果。
然后，测试Nutch自带的搜索引擎。将nutch-0.9-war部署到Tomcat服务器上，并对nutch-site.xml进行配置。在运行过程中，发现因jsp文件中的转义字符缺失导致错误，通过对search.jsp、cached.jsp等文件进行修正，解决了这些问题。同时，针对中文乱码问题，分别在server.xml和cached.jsp中调整编码设置，确保中文能正确显示。
接下来，注意到Nutch的默认分词器是以单字为基础，且未处理停用词。通过Luke工具查看索引文件，确认了这一现象。为了实现中文分词功能，选择了IKAnalyzer，这是一种专门为Java设计的中文分词器。尝试使用Nutch 0.9和IKAnalyzer 3.1.6GA组合，但由于版本兼容性问题导致失败，因此改用Nutch 1.2和IKAnalyzer 3.2.8，并将Tomcat升级到6.0.35版本。
在Nutch 1.2中集成IKAnalyzer，需要修改NutchAnalysis.jj文件，将SIGRAM规则调整为支持连续的汉字，然后在代码中初始化IKTokenizer，使其能够处理输入的文本流。通过这种方式，Nutch现在能够对抓取的网页内容进行有效的中文分词，进一步提升搜索效果。
实验过程中，不仅涉及了搜索引擎的基础架构，还涵盖了Linux环境的使用、网页爬虫技术、文本处理与分析，以及分词算法的实践应用。这些知识点对于理解和开发自己的搜索引擎系统具有重要意义。通过Nutch和IKAnalyzer的结合，我们能够构建一个具备中文处理能力的搜索引擎，为用户提供更精准的信息检索服务。
