没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![application/x-gzip](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/release/download_crawler_static/12014067/bg1.jpg)
Scrapy 框架
Python 爬虫实战系列之九
![](https://csdnimg.cn/release/download_crawler_static/12014067/bg2.jpg)
提 纲
1. Scrapy 框架
2. Scrapy 入门实例
3. Scrapy 详解
•
Spider
•
Downloader Middleware
4. Scrapy 对接 Selenium
5. 实战
![](https://csdnimg.cn/release/download_crawler_static/12014067/bg3.jpg)
1.Scrapy 框架
在 python 爬虫中: requests + selenium 可以
解决目前 90% 的爬虫需求。
那为什么要使用 scrapy 框架来写爬虫 ?
scrapy 框架是为了让爬虫更强大、更高效。它是一个
为了爬取网站数据,提取结构性数据而编写的应用框
架,只需要实现少量代码,就能够快速的抓取到数据。
![](https://csdnimg.cn/release/download_crawler_static/12014067/bg4.jpg)
1.Scrapy 框架
Scrapy 是一个基于 Twisted (用 Python 实现的基于事件驱动
的网络引擎框架)的异步处理框架,是纯 Python 实现的爬虫框
架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵
活完成各种需求,只需要定制开发几个模块就可以轻松实现一个爬
虫。
![](https://csdnimg.cn/release/download_crawler_static/12014067/bg5.jpg)
1.Scrapy 框架 -- 组成
•
Scrapy Engine 引擎 ( 框架核心 )
处理整个系统的数据流 , 触发事务。
•
Spiders 蜘蛛
定义爬取逻辑和网页的解析规则 , 主要负责
解析响应并生成提取结果和新的请求。
•
Scheduler 调度器
接受引擎发过来的请求并将其加入队列中 ,
在引擎再次请求的时候将请求提供给引擎。
•
Downloader 下载器
下载网页内容 , 并将网页内容返回给蜘蛛。
•
Item Pipeline 项目管道
负责处理由蜘蛛从网页中抽取的项目,主要
任务是清洗、验证和存储数据。
•
Item 项目
定义爬取结果的数据结构,爬取的数据会被
赋值成该 Item 对象。
剩余34页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/9ab89cb35a0043ecbc1fc3dd59aed4e7_u013854486.jpg!1)
沐呓耳总
- 粉丝: 14
- 资源: 9
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)