Scrapy 框架中 Spider 的用法
在 Scrapy 里面，要抓取网站的链接配置、抓取逻辑、解析逻辑里，都是在
Spider 里面去完成的。
一、Spider 的运行流程
在实现 Scrapy 爬虫项目里面，最核心的就是 Spider 类了，它定义了如何爬取
某个网站的流程和解析方式。简单来讲，Spider 就做两件事情：
定义爬取的动作
分析爬取下来的网页
对于 Spider 类来说，整个流程如下，可以参考中文官方文档：
以初始的 URL 初始化 Request，并设置回调函数。 当该 request 下载完毕
并返回时，将生成 response，并作为参数传给该回调函数。spider 中初始
的 request 是 通 过 调 用 start_requests() 来 获 取 的 。
start_requests() 读取 start_urls 中 的 URL， 并以 parse 为回调函
数生成 Request 。
在回调函数内分析返回的(网页)内容，返回 Item 对象或者 Request 或者
一个包括二者的可迭代容器。 返回的 Request 对象之后会经过 Scrapy 处理，
下载相应的内容，并调用设置的 callback 函数(函数可相同)。
在 回 调 函 数 内 ， 您 可 以 使 用 选 择 器 (Selectors) ( 您 也 可 以 使 用
BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容，并根据
分析的数据生成 item。
最后，由 spider 返回的 item 将被存到数据库(由某些 Item Pipeline 处理)
资源评论
