爬虫
检索网页的爬虫将 SAP 与链接。
依赖关系
是启动爬虫所必需的。 安装很简单,去官网了解详情。
用法
首先安装依赖
cd crawler
npm install
爬虫站点地图
CrawlerSitemap 检索站点地图中的 URL 并分析所有页面以查找链接。
Usage: node crawlerSitemap.js [OPTION] baseUrl
-s, --sitemap=ARG Sitemap path (HTTP or FileSystem)
-o, --output=ARG CSV file to save links
-p, --processes=ARG number of processes to launch in same time (default: 5)
-d, --delimitor=ARG Delimitor CS