Heritrix
介绍
Heritrix是Internet档案馆的开源，可扩展，网络规模，档案质量的网络爬虫项目。 Heritrix（有时拼写为heretrix，或者拼写错误或拼写错误，如heratrix / heritix / heretix / heratix）是女继承人（继承的女人）的古语。 由于我们的搜寻器致力于收集和保存我们文化的数字文物，以造福未来研究人员和后代，因此这个名称似乎很贴切。
爬行操作员！
Heritrix旨在遵守排除指令和。 请考虑您的抓取将对种子站点施加的负载，并相应地设置礼貌策略。 另外，请始终User-Agent中的联系信息来标识您的爬网，以便可能受到爬网影响
评论0