warc-mapreduce:对 Hadoop 的 mapreduce api 的 warc 和湿支持

warc-mapreduce 用于 hadoop 新 api (mapreduce) 的 warc 工作版本，基于 lemur 项目，有一些修复（在 java 目录中） 还有一个将 warc 与 hadoop-clojure 结合使用的示例。 要运行该示例，请从 common-crawl 获取一个文件（2013 年的第一次爬网 ）： s3cmd get s3://aws-publicdatasets/common-crawl/crawl-data/CC-MAIN-2013-20/segments/1368710313659/wet/CC-MAIN-20130516131833-00097-ip-10-60-113-184.ec2.internal.warc.wet.gz 以及 2013 年冬季抓取的文件示例 ( )，不要忘记更改 example.clj 测试中的文件名： s3