目 录
1 设计目的....................................................................................................................1
2 设计任务内容............................................................................................................1
3 网络爬虫程序总体设计............................................................................................1
4 网络爬虫程序详细设计..........................................................................................1
4.1 设计环境和目标分析......................................................................................1
4.1.1 设计环境................................................................................................1
4.1.2 目标分析................................................................................................2
4.2 爬虫运行流程分析..........................................................................................2
4.3 控制模块详细设计..........................................................................................3
4.3 爬虫模块详细设计..........................................................................................3
4.3.1 URL 管理器设计....................................................................................3
4.3.2 网页下载器设计....................................................................................3
4.3.3 网页解析器设计....................................................................................3
4.4 数据输出器详细设计.......................................................................................4
5 调试与测试................................................................................................................4
5.1 调试过程中遇到的问题..................................................................................4
5.2 测试数据及结果显示.......................................................................................5
6 课程设计心得与体会................................................................................................5
7 参考文献....................................................................................................................6
8 附录 1 网络爬虫程序设计代码...............................................................................6
9 附录 2 网络爬虫爬取的数据文档...........................................................................9
