Secluded:请链接，以使实验继续进行。:robot:隐蔽是一个试图与爬网程序隔离的网页，尽管该网页是公开可见的。 这是爬虫...

僻 隐匿的是一个试图与爬网程序隔离的网页，尽管该网页是公开可见的。 这是爬虫行为实验。 希望它在所有方面都对SEO友好，只是它告诉爬虫不要对自己进行索引。 （因此，感谢并感谢链接到该域以获得流行度（尚未部署））。 它使用morgan，lowdb，sqlite3，device-detector-js来检测和记录爬网程序。 随时间推移跟踪一个URL索引，以了解其老化时间。 它还会生成新的链接，以查看索引的演变如何随着网站的老化而变化。 如何 Robots meta指令和robots.txt是一些代码段，它们为爬网程序提供了有关如何对网页内容进行爬网或编制索引的说明。 托管一个隐藏页面。 它的URL（和内容）是唯一且随机的。 最新页面会随着时间变化，因此我们可以跟踪随着页面老化而建立索引的过程。 链接随首页一起出现，以便爬虫可以跟随。 用户界面一瞥 只是主页。 贡献 去做： 很多事情，在