puppeteer-web-crawler:通过Puppeteer使用无头Chrome的网络爬虫

木偶网络爬虫 通过Puppeteer使用无头Chrome的网络爬虫。 当前版本是专门为用作简单的缓存预热实用程序而构建的。 我计划对其进行扩展，以包括更多选项和功能，例如报告。 用法 安装依赖项： # NPM npm i # Yarn yarn 运行搜寻器： npm run crawl # -- <options> 传递两个种子页面和两个站点地图的示例： npm run crawl -- --seed=https://example.com/seed1.html --seed=https://example.com/seed2.html --sitemap=https://example.com/sitemap.xml --sitemap=https://example.com/sitemap2.xml