proxy-middleware:从设置中读取代理配置的Scrapy中间件

代理中间件 从设置中读取代理配置的Scrapy中间件。 内容 pip install proxy-middleware 从设置文件设置代理的中间件。 用法：将其添加到scrapy设置中的DOWNLOADER_MIDDLEWARES中： DOWNLOADER_MIDDLEWARES = { 'proxy_middleware.ProxyFromSettingsMiddleware': 10, ... 通过HTTP_PROXY和HTTPS_PROXY设置变量传递代理配置。 HTTPPROXY_AUTH_ENCODING也被尊重： scrapy crawl my-spider -s HTTP_PROXY=http://localhost:8118 一个仅代理TOR站点请求的中间件（域以“ .onion”结尾）。 用法：将其添加到scrapy设置中的DOWNLOADER_