spark-common-crawl:Spark常见爬取数据解析示例

杂项Spark 常见爬行 一些使用 Spark 分析一些常见爬取数据的杂项示例。 这些脚本的最初用途是用于一些简单的评估。 使用它们的风险由您自己承担，并作为如何处理数据的示例。 我将 common-crawl 数据集从 s3 复制到本地 hdfs 集群。