scrapy-rotating-proxies:与Scrapy一起使用多个代理

刮擦旋转代理 该软件包提供了一个中间件来使用旋转代理，检查它们是否还活着并调整爬网速度。 许可证是麻省理工学院。 安装 pip install scrapy-rotating-proxies 用法 将带有代理列表的ROTATING_PROXY_LIST选项添加到settings.py： ROTATING_PROXY_LIST = [ 'proxy1.com:8000', 'proxy2.com:8031', # ... ] 或者，您可以指定一个ROTATING_PROXY_LIST_PATH选项，以及一个带有代理的文件的路径，每行一个： ROTATING_PROXY_LIST_PATH = '/my/path/proxies.txt' 如果同时存在两个选项，则ROTATING_PROXY_LIST_PATH优先于ROTATING_PROXY_LIST 。