Scrapy爬虫框架.pdf

在详细介绍Scrapy爬虫框架之前，我们先回顾一下爬虫的基本原理。爬虫的本质是通过定位网页中的元素来获取页面数据。其一般工作流程包括分析需求确定目标网站，分析目标网站的URL组成规则，将目标页面的URL组织成列表，然后通过循环不断提取URL，从而获取目标服务器的响应。响应数据被解析并提取出来后，会存储到数据库中。数据可分为结构化数据和非结构化数据两种，结构化数据能够用二维表结构逻辑表达，非结构化数据则无法使用二维逻辑表表现，包括办公文档、文本、图片、XML、HTML等。 Scrapy是一个快速、高层次的网页爬取和网络抓取框架，用于爬取网站并从页面中提取结构化的数据。它的优势在于只需编写少量代码即可实现高效率的爬取。对于爬虫工程师而言，掌握Scrapy框架是其必备基础技能之一。 Scrapy框架由以下几大模块构成： 1. 引擎（Engine）：负责协调各组件之间数据流的传递和处理。它不直接处理数据，仅仅是信息的搬运工，负责将数据和信号在不同模块间传递。 2. 调度器（Scheduler）：负责调度Scrapy引擎传递过来的request请求对象，它把请求放入队列中，等待下载器下载。 3. 下载器（Downloader）：接受引擎发过来的request请求，发送请求并获取响应。获取到的响应又会传回给引擎。 4. 爬虫（Spider）：处理引擎传递过来的response，并从中提取数据和生成新的请求。提取的URL将再次放入调度器等待下载。 5. 管道（Pipeline）：处理引擎传递过来的数据，完成数据存储或其他处理，例如将爬取的数据保存到数据库中。 6. 下载中间件（Downloader Middlewares）：在引擎和下载器之间工作的组件，可以自定义扩展下载功能，例如设置代理IP。 7. 爬虫中间件（Spider Middlewares）：位于引擎和爬虫之间的组件，用于请求和响应的过滤和预处理。 要运用Scrapy框架，我们可以按照以下步骤进行： 1. 安装Scrapy：通过命令pip install scrapy安装Scrapy框架。 2. 创建Scrapy项目：通过命令scrapy startproject myspider（其中myspider是自定义项目名）创建Scrapy项目。 3. 创建Scrapy爬虫：在项目目录下执行命令***来创建一个爬虫。 4. 手写spider，实现数据提取操作。 5. 手写pipelines.py、items.py文件处理引擎传递过来的数据。 6. 在settings.py中设置开启pipeline，以完成数据的存储和处理。 7. 运行Scrapy爬虫：在项目目录下执行命令scrapy crawl itcast运行爬虫。如果需要输出为特定格式的文件，在运行爬虫命令后使用-o选项指定格式输出文件。 例如，爬取黑马师资（资历、姓名、职称）并输出为CSV格式文件，可以使用命令scrapy crawl itcast -o teachers.csv，并且可用Excel打开。如果需要输出为XML格式，可以使用命令scrapy crawl itcast -o teachers.xml。 需要注意的是，上述内容中个别字可能因OCR扫描技术原因而识别错误或遗漏，故实际使用时应结合上下文语境进行适当理解和调整，确保表述通顺准确。