目 录
1 设计目的.....................................................................................................................0
2 设计任务内容.............................................................................................................0
3 网络爬虫程序总体设计.............................................................................................0
4 网络爬虫程序详细设计.............................................................................................0
4.1 设计环境和目标分析...........................................................................................0
4.1.1 设计环境........................................................................................................0
4.1.2 目标分析........................................................................................................1
4.2 爬虫运行流程分析...............................................................................................1
4.3 控制模块详细设计...............................................................................................2
4.3 爬虫模块详细设计...............................................................................................2
4.3.1 URL 管理器设计...........................................................................................2
4.3.2 网页下载器设计............................................................................................2
4.3.3 网页解析器设计............................................................................................2
4.4 数据输出器详细设计...........................................................................................3
5 调试与测试.................................................................................................................3
5.1 调试过程中遇到的问题.......................................................................................3
5.2 测试数据及结果显示...........................................................................................4
6 课程设计心得与体会.................................................................................................4
7 参考文献.....................................................................................................................5
8 附录 1 网络爬虫程序设计代码.................................................................................5
9 附录 2 网络爬虫爬取的数据文档.............................................................................6
