# scrapy_yzd
该项目为scrapy框架，整合了自动切换agent，自动切换代理ip的中间件，可以下载后自行编写爬虫。
支持：
- 豆瓣电影
- 京东商品信息（名称价格等）
## agent中间件
自动切换agent
## 代理中间件
采用网友的中间件，自动从3个免费代理网站爬取代理并测试
该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编-scrapy_yzd.zip （20个子文件） 
scrapy_yzd-master scrapy_yzd 
__init__.py 0B pipelines.py 289B autoproxy.py 12KB spiders __init__.py 161B douban_spider.py 1KB doubanlist_spider.py 3KB jd_spider.py 3KB csdn_self_spider.py 375B steam_spider.py 4KB items.py 2KB settings.py 4KB middlewares.py 3KB scrapy.cfg 264B .idea scrapy_yzd.iml 472B vcs.xml 180B misc.xml 226B modules.xml 272B
京东自营手机前500名数据.xlsx 46KB .gitignore 1KB README.md 345B资源评论
