开源 python 网络爬虫框架 Scrapy
介绍：
所 谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法
不够专业，更专业的描述就是，抓取特定网站网页的 HTML 数据。不过由于一个
网站的 网页很多，而我们又不可能事先知道所有网页的 URL 地址，所以，如何
保证我们抓取到了网站的所有 HTML 页面就是一个有待考究的问题了。
一般的方法是，定义一个入口页面，然后一般一个页面会有其他页面的 URL，于
是从当前页面获取到这些 URL 加入到爬虫的抓取队列中，然后进入到新新页面后
再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。
上面介绍的只是爬虫的一些概念而非搜索引擎，实际上搜索引擎的话其系统是相
当复杂的，爬虫只是搜索引擎的一个子系统而已。下面介绍一个开源的爬虫框架
Scrapy。
一、概述
Scrapy 是一个用 Python 写的 Crawler Framework ，简单轻巧，并且非常方便，
并且官网上说已经在实际生产中在使用了，不过现在还没有 Release 版本，可
以直接使用他们的 Mercurial 仓库里抓取源码进行安装。
Scrapy 使用 Twisted 这个异步网络库来处理网络通讯，架构清晰，并且包含了
各种中间件接口，可以灵活的完成各种需求。整体架构如下图所示：
剩余10页未读，继续阅读
资源评论
m0_741663112023-08-25这个资源内容超赞，对我来说很有价值，很实用，感谢大佬分享~
