# scrapy_redis_mongodb
基于Python+scrapy+redis的分布式爬虫实现框架
#project start
运行run.py
#scrapy_news.py
主要功能是抓取种子url，保存到redis
#redis_mongo.py
主要是从redis里面读url，解析数据保存到mongodb
（拓展到其他机器，都是从redis里面读url）
scrapy_redis_mongodb-master.zip （28个子文件） 
scrapy_redis_mongodb-master 
scrapy.cfg 284B .idea workspace.xml 46KB misc.xml 215B inspectionProfiles profiles_settings.xml 228B modules.xml 292B scrapy_redis_mongodb.iml 398B run.py 115B .gitignore 14B README.md 311B scrapy_redis_mongodb __init__.py 0B pipelines.py 3KB settings.pyc 775B spiders __init__.py 161B master_scrapy_news.py 1KB scrapy_news.pyc 2KB TestSpider.py 664B redis_mongo.pyc 1KB __init__.pyc 166B slave_redis_mongo.py 1KB items.py 643B middlewares __init__.py 0B RandomUserAgent.py 5KB RandomUserAgent.pyc 5KB __init__.pyc 170B __init__.pyc 158B pipelines.pyc 3KB settings.py 5KB items.pyc 788B资源评论
码农飞哥
- 粉丝: 14w+
- 资源: 1911
最新资源
- C语言-leetcode题解之70-climbing-stairs.c
- C语言-leetcode题解之68-text-justification.c
- C语言-leetcode题解之66-plus-one.c
- C语言-leetcode题解之64-minimum-path-sum.c
- C语言-leetcode题解之63-unique-paths-ii.c
- C语言-leetcode题解之62-unique-paths.c
- C语言-leetcode题解之61-rotate-list.c
- C语言-leetcode题解之59-spiral-matrix-ii.c
- C语言-leetcode题解之58-length-of-last-word.c
- 计算机编程课程设计基础教程
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
