python scrapy爬虫

1. Scrapy 架构

2. 主要部件

1. 引擎(Scrapy)

用来处理整个系统的数据流 (框架核心)

2. 调度器(Scheduler)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个 URL（抓取网页的网

址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

3. 下载器(Downloader)

用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy 下载器是建立在 twisted 这个高效的异步模型上的)

6. 下载器中间件(Downloader Middlewares)

位于 Scrapy 引擎和下载器之间的框架，主要是处理 Scrapy 引擎与下载器之间的请求及响应。

7. 爬虫中间件(Spider Middlewares)

介于 Scrapy 引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

8. 调度中间件(Scheduler Middewares)

介于 Scrapy 引擎和调度之间的中间件，从 Scrapy 引擎发送到调度的请求和响应。

3. Scrapy 运行流程大概如下

Scrapy 中的数据流由执行引擎控制，其过程如下:

1，引擎从 Spiders 中获取到最初的要爬取的请求（Requests）。

2，引擎安排请求（Requests）到调度器中，并向调度器请求下一个要爬取的请求（Requests）。

Spider 中间件(Spider Middlewares)中的 process_spider_input()函数会被调用到。

7，Spider 处理 Response 并通过 Spider 中间件(Spider Middlewares)返回爬取到的 Item 及(跟进的)新的 Request 给引擎，

这个过程中 Spider 中间件(Spider Middlewares)的 process_spider_output()函数会被调用到。

8，引擎将上步中 Spider 处理的其爬取到的 Item 给 Item 管道（Pipeline），将 Spider 处理的 Request 发送给调度器，

并向调度器请求可能存在的下一个要爬取的请求（Requests）。

9，(从第二步)重复直到调度器中没有更多的请求（Requests）。

4. 安装 scrapy

4.1 修改 pip 的安装源路径

由于 Python 属于国外，所以在一些库的下载安装上会不太方便，所以这时候就需配置为国内源。

1）浏览器地址输入：%APPDATA%

2）然后找到或者创建 pip 文件夹

python -m pip install --upgrade pip