第一部分
概念简介
延时符
Scrapy爬虫框架
“5+2”结构
Scrapy中的数据流是由执行引擎控制的，如下所示：
1. 引擎从爬虫器中获取爬虫的初始请求对象（一个
或者多个）。
2. 引擎从调度器中调度请求对象并获取下一个要爬取
的请求对象。
3. 调度器返回下一个请求对象给引擎。
4. 引擎通过下载器中间件 (process_request())将请求
对象传递给下载器。
5. 一旦页面完成下载，下载器将生成一个响应对象，
然后通过下载器中间件传递给引擎
(process_response())。
6. 引擎从下载器获得响应对象后把它传递给爬虫器使
用爬虫器中间件处理，( process_spider_input())。
7. 爬虫器使用爬虫器中间件处理响应对象，然后返回
items和新的请求对象给引擎( process_spider_output())
。
8. 引擎，然后将处理过的请求对象传递给调度器并获
得后续要爬取的请求对象。
9. 这个过程（从第一步）一直重复直到调度器中没有
请求。
