behemoth-commoncrawl:支持 Behemoth 中的旧（2013 年之前）CommonCrawl 数据集

behemoth-commoncrawl Behemoth 的 CommonCrawl 模块。 这是用于从旧的基于 ARC（2013 年之前）的 CommonCrawl 数据集进行转换。 对于基于 WARC 的新 CC 格式，请改用 IO 模块 [ ]。 注意：您需要拥有一个 AWS 帐户并设置 AWS_ACCESS_KEY 和 AWS_SECRET_ACCESS_KEY。 指示 git clone :DigitalPebble/behemoth-commoncrawl.git mvn install:install-file -DgroupId=org.commoncrawl -DartifactId=commoncrawl -Dversion=1.0 -Dpackaging=jar -Dfile=lib/commoncrawl-1.0.jar mvn 全新安装 hadoo