基于Python+scrapy+redis的分布式爬虫实现框架+源代码+文档说明

# scrapy_redis_mongodb 基于Python+scrapy+redis的分布式爬虫实现框架 #project start 运行run.py #scrapy_news.py 主要功能是抓取种子url，保存到redis #redis_mongo.py 主要是从redis里面读url，解析数据保存到mongodb （拓展到其他机器，都是从redis里面读url） -------- 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------