Node爬取大批量文件的方法示例

有个朋友在搞留学工作室，经常访问的一个网站叫留学者指南，然而每次都要去访问该网站，显得极其不专业。于是托俺帮忙写脚本去爬他家的东西，我观察了下，这次，我们要爬的东西就有点多了——大概就20多万个文件吧~~~ 在20多万个文件中，下载极有可能会被中断，因此需要做下载进度备份，下载进度恢复。 那么针对这样子的需求，我们开始吧！ 上代码！ const cheerio = require(cheerio); //用于处于HTML文档流，用法类似jQuery const http = require(http); //用于发起请求 const fs = require(fs); //用于检