gargantua:快速的网站爬虫

「巨大的」 快速的网站爬虫 您可以使用「gargantua」快速轻松地 预热您的前端缓存 对您的公开页面进行小型负载测试 测量响应时间 检测断开的链接 在Linux，macOS和Windows上从命令行访问。 注意：按Q停止当前的爬网过程。 用法 与5名并发工作人员爬网 ： gargantua crawl --url https://www.sitemaps.org/sitemap.xml --workers 5 另请参阅： 自定义用户代理 您可以使用--user-agent参数指定自定义的用户代理： gargantua crawl --url https://www.sitemaps.org/sitemap.xml --workers 5 --user-agent " gargantua bot / iPhone " 记录所有请求 您可以使用--log参数指定日志文件： ga