chkweb:一个非常简单的Web搜寻器，用于检查Web服务器中的公共页面

官方网站 这是一个非常简单的Web搜寻器，用于检查Web服务器中的公共网页。 若要使用，请以URL开头调用子命令以进行爬网： chkweb start http://localhost/ 这将创建一个sqlite3数据库pages.db该pages.db将检测到URL。 它还检查该第一页，并将所有本地链接添加到数据库中，作为待检查的待处理URL。 现在您可以运行： chkweb advance 继续抓取过程。 这将最多使用10个待处理的url，然后依次重复每个过程。 您可以设置环境变量CHKWEB_ADVANCE_LIMIT或设置--limit命令行选项，以定义要检查的新url的最大数量，例如以下示例： chkweb advance --limit 1000 检查过程状态 您可以使用子命令status来检查当前进程status ，如下所示： chkweb status 日志 日志