Scrapy爬虫文件批量运行的实现

Scrapy批量运行爬虫文件的两种方法： 1、使用CrawProcess实现 https://doc.scrapy.org/en/latest/topics/practices.html 2、修改craw源码+自定义命令的方式实现 （1）我们打开scrapy.commands.crawl.py 文件可以看到： def run(self, args, opts): if len(args) < 1> 1: raise UsageError(running 'scrapy craw