node-crawler：适用于NodeJS +服务器端jQuery的Web CrawlerSpider ;-)

适用于Node的功能最强大，最受欢迎和生产中的抓取/抓取软件包，祝您黑客愉快:) 特征： 服务器端DOM和自动Cheerio（默认）或JSDOM的jQuery插入 可配置的池大小和重试 控制率限制 优先请求队列 forceUTF8模式让爬虫为您处理字符集检测和转换 与4.x或更高版本兼容 这是 感谢 ，我们有了文档。 欢迎其他语言！ 目录 开始吧 安装 $ npm install crawler 基本用法 var Crawler = require ( "crawler" ) ; var c = new Crawler ( { maxConnections : 10 , // This will be called for each crawled page callback : function ( error , res , done ) { if ( error ) { console . log ( error ) ; } else { var $ = res . $