commoncrawl_downloader

commoncrawl_downloader 用法示例： docker build -t ccdl . docker run -e NUM_CORES=8 -v $PWD/output:/app/output -it ccdl 0,1,2,3,4,5,6,7,8,9 总共有3679个区块（编号为0-3678，含0和3678）。 要指定块，请提供以逗号分隔的块编号列表作为参数（无空格）。 所需资源 总共需要3.5PB的网络入口。 最终数据集应为200TB（警告：此数字非常粗略且外推；为了安全起见，请留出一些松弛空间！）。 还需要大约40k核心天（非超线程）（同样，通过外推得出的非常粗略的估计）。 输出格式 每个块输出为.jsonl.zst文件（信息： ， ）。 文件中的每个json对象都有一个text字段（包含网页）和一个meta字段，其中包含有关语言，WARC标头和HTTP响应标头