scrapy-requests:Scrapy中间件使用request-html处理javascript页面

拼命的要求 Scrapy中间件可使用request-html异步处理javascript页面。 request-html使用pyppeteer加载javascript页面，并为您处理用户代理规范。 使用requests-html非常直观和简单。 要求 Python> = 3.6 Scrapy> = 2.0 request-html 安装 pip install scrapy-requests 配置 扭曲使用Asyncio事件循环，并将RequestsMiddleware添加到下载器中间件 settings.py TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor' DOWNLOADER_MIDDLEWARES = { 'scrapy_requests.RequestsMid