meteor-spiderable:使应用程序可爬网蜘蛛

蜘蛛式在制品 流星v1.6 + 使用Google的 它很好用，但是代码很乱：P 最新变化： 将Puppeteer 9.0.0与Chrome r869685 添加了缓存（使用spidercache mongo集合） 添加了sitemap.xml特殊规则（hacky） 添加了铁路由器的404页面，实际上返回了404 - page not found 如果发出太多请求，它将返回409 - try again later 去做： 尝试使用puppeteer-core来减小程序包的大小（200MB太可笑了！） 清理一切！ 安装 添加流星包 meteor add nooitaf: spiderable 环境变量 您可以选择使用URL指向其他端口，ip或域。 默认URL是http://localhost:3000/ 。 # examples export SPIDERABLE_UR