DistributedSpider

基于RabbitMQ消息植入的分布式爬虫 本项目为2020年《分布式操作系统》课程大作业的一部分 Python环境 刮y的 Redis 皮卡 pymongo python -m pip install scrapy python -m pip install redis python -m pip install pika python -m pip install pymongo -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 启动 scrapy crawl [spider_name] 由于本项目暂时只有一个用于爬取豆瓣的Dis_Douban爬虫，可以直接使用如下命令运行： scrapy crawl Dis_Douban 另外可以使用任选参数如下： task_id ：（可选）指定本次爬虫的任务ID，