cc-warc-examples:用于Java + HadoopCommonCrawl WARCWETWAT示例和处理代码

常见的抓取WARC示例 该存储库既包含用于处理Hadoop MapReduce作业中的WARC文件的包装器，也包含使您入门的Hadoop示例。 有三个用于Hadoop处理的示例： [WARC文件]使用原始HTTP响应HTML标记频率计数器 [WAT文件]使用响应元数据的服务器响应分析 [WET文件]使用提取的文本的经典单词计数示例 所有这三个文件最初都假设文件存储在本地，但可以对其进行简单地修改以将它们从Common Crawl的Amazon S3存储桶中拉出。 要获取文件，可以使用或类似文件。 s3cmd get s3://aws-publicdatasets/common-crawl/crawl-data/CC-MAIN-2013-48/segments/1386163035819/warc/CC-MAIN-20131204131715-00000-ip-10-33-133-15