# scrapy_redis_mongodb
基于Python+scrapy+redis的分布式爬虫实现框架
#project start
运行run.py
#scrapy_news.py
主要功能是抓取种子url，保存到redis
#redis_mongo.py
主要是从redis里面读url，解析数据保存到mongodb
（拓展到其他机器，都是从redis里面读url）
scrapy_redis_mongodb-master.zip （28个子文件） 
scrapy_redis_mongodb-master 
scrapy.cfg 284B .idea workspace.xml 46KB misc.xml 215B inspectionProfiles profiles_settings.xml 228B modules.xml 292B scrapy_redis_mongodb.iml 398B run.py 115B .gitignore 14B README.md 311B scrapy_redis_mongodb __init__.py 0B pipelines.py 3KB settings.pyc 775B spiders __init__.py 161B master_scrapy_news.py 1KB scrapy_news.pyc 2KB TestSpider.py 664B redis_mongo.pyc 1KB __init__.pyc 166B slave_redis_mongo.py 1KB items.py 643B middlewares __init__.py 0B RandomUserAgent.py 5KB RandomUserAgent.pyc 5KB __init__.pyc 170B __init__.pyc 158B pipelines.pyc 3KB settings.py 5KB items.pyc 788B资源评论
码农飞哥
- 粉丝: 15w+
- 资源: 1910
