山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》.doc

基于 Python 的网络爬虫设计 本课程设计的目的是巩固和加深学生对计算机网络基本知识的理解和掌握，培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力，并提高学生进行技术总结和撰写说明书的能力。通过设计一个基于 Python 的网络爬虫，实现网络爬虫抓取页面、从而形成结构化数据的基本功能。 网络爬虫是从 web 中发现、下载以及存储容，是搜索引擎的核心部分。传统爬虫从一个或若干初始网页的 URL 开始，获得初始网页上的 URL，在抓取网页的过程中，不断从当前页面上抽取新的 URL 放入队列，直到满足系统的一定停止条件。 在本次课程设计中，我们选择 Python 作为开发语言，并使用 PyCharm 作为 IDE，Python 版本为 2.7.13。设计的目标是从百度词条 Python 开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介。 爬虫程序的总体设计共有三个模块：爬虫调度端、爬虫模块和数据输出模块。爬虫模块又包含三个小模块：URL 管理器、网页下载器和网页解析器。URL 管理器对需要爬取的 URL 和已经爬取过的 URL 进行管理，可以从 URL 管理器中取出一个待爬取的 URL，传递给网页下载器。网页下载器将 URL 指定的网页下载下来，存储成一个字符串，传递给网页解析器。网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的 URL，这些 URL 被解析出来会补充进 URL 管理器。 在设计环境和目标分析中，我们使用 PyCharm 作为 IDE，Python 版本为 2.7.13。目标是从百度词条 Python 开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介。爬虫运行流程分析如图所示。 在控制模块详细设计中，爬虫控制器主要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给对应的模块传递数据即可。比较简单，可参见附录 1 查看源码。 在爬虫模块详细设计中，我们设计了 URL 管理器、网页下载器和网页解析器三个小模块。URL 管理器对需要爬取的 URL 和已经爬取过的 URL 进行管理，可以从 URL 管理器中取出一个待爬取的 URL，传递给网页下载器。网页下载器将 URL 指定的网页下载下来，存储成一个字符串，传递给网页解析器。网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的 URL，这些 URL 被解析出来会补充进 URL 管理器。 在数据输出模块详细设计中，我们设计了数据输出器，以文本的形式输出传递进来的数据。 本次课程设计的目的是设计一个基于 Python 的网络爬虫，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，并提高学生进行技术总结和撰写说明书的能力。