robots-parser:支持通配符（*）匹配的NodeJS robots.txt解析器

机器人解析器 NodeJS robots.txt解析器。 目前支持： 用户代理： 允许： 不允许： 网站地图： 抓取延迟： 主持人： 具有通配符（*）和EOL匹配（$）的路径 安装 通过NPM： npm install robots-parser 或通过纱线： yarn add robots-parser 用法 var robotsParser = require ( 'robots-parser' ) ; var robots = robotsParser ( 'http://www.example.com/robots.txt' , [ 'User-agent: *' , 'Disallow: /dir/' , 'Disallow: /test.html' , 'Allow: /dir/test.html' , 'Allow: /test.html' ,