scrapy-source-ip:使用http中描述的内容实现的简单scrapy下载器

scrapy-source-ip 实现描述的简单scrapy下载器 它允许将特定的 ip 绑定到用于抓取网站的请求。 因此，例如，如果您有 2 个网络接口，则可以指定要使用的特定接口。 在 settings.py 中： BIND_IP_ADDRESS=("192.168.1.1", 0) DOWNLOADER_MIDDLEWARES = { 'scrapy_source_ip.middleware.HttpIpBindMiddleware':1, } 修改后的scrapy核心文件在files中，复制到： $SCRAPY_HOME/core/downloader/handlers/http.py $SCRAPY_HOME/core/downloader/webclient.py