Robots.io:Robots.txt解析库-开源

Robots.io是一个Java库，旨在简化网站“ robots.txt”文件的解析。 RobotsParser类提供了使用robots.io的所有功能。 传递给RobotsParser的域被规范化为始终以正斜杠结尾。 不允许的路径绝不会以正斜杠开头。 这样一来，URL即可轻松构建。