LoremIpsumCrawler:CSCI 572 2015 Spring作业

LoremIpsumCrawler ================================ CSCI 572 2015 年Spring作业 Mime 类型：（get_mime_types.py） 获取 MIME 类型的命令python get_mime_types.py <path>/crawldb where - 爬行中使用的项目名称 获取统计信息：（get_crawl_stats.py） 获取统计信息的命令python get_crawl_stats.py <path>/crawldb where - 爬取中使用的项目名称 找到的 MIME 类型：(mime_types) 爬行过程中发现的各种 mime 类型列在 mime_types 文件中 第一次抓取错误：(crawl_errors.txt) 可以在 crawl_errors.txt 中找到第一次爬网（没有 se