Spark常用的算子以及Scala函数总结.pdf

Apache Spark 是一个开源的分布式计算系统，提供了一个快速、通用的引擎，用于大规模数据处理。它是一个基于内存计算的大数据处理框架，拥有强大的数据处理能力。Spark 基于 Scala 语言构建，支持多种编程语言接口，例如 Java、Python 和 R，但最开始是用 Scala 编写的。了解 Scala 是学习 Spark 的一大优势，因为 Spark 中的许多高级功能和 API 都是用 Scala 实现的，因此使用 Scala 访问这些功能和 API 会更加简单。 在 Spark 中，数据以弹性分布式数据集（RDD）的形式存在，RDD 是 Spark 的核心数据结构，它是一个不可变的分布式对象集合，能够在节点之间进行有效的容错处理。 Spark 算子大致分为两类：Transformation 算子和 Action 算子。Transformation 算子用于对 RDD 进行变换操作，例如 map、filter 等，这些操作是延迟计算的，只有在触发 Action 算子时才真正执行。Action 算子会触发 SparkContext 提交作业并返回结果给驱动程序或写入外部存储系统。 具体到 Spark 中的算子，下面列出了常见的 Transformation 和 Action 算子以及它们的功能： 1. map(func): 对 RDD 中的每个元素应用函数 func，并返回一个新的 RDD。 2. mapPartitions(func): 类似于 map，但函数 func 应用于每个分区，通常可以减少函数调用的开销。 3. mapValues(func): 对 RDD 中的每个值应用函数 func，只改变值而不改变键。 4. flatMap(func): 类似于 map，但每个输入项可以被映射为零或多个输出项，常用于处理“扁平化”。 5. flatMapValues(func): 仅对 RDD 的值应用函数 func，不改变键。 6. reduceByKey(func): 对每个键对应的值进行函数 func 的合并操作，结果以键值对的形式返回。 7. groupByKey(numPartitions): 把相同键的值聚合成一个集合，结果为键和值的集合的集合。 8. sortByKey(ascending, numPartitions): 根据键对 RDD 中的元素进行排序。 9. cogroup(otherDataSet, numPartitions): 对两个 RDD 中的键值对按照相同的键进行分组，返回的结果是一个键和两个 RDD 中对应值的集合的元组。 10. join(otherDataSet, numPartitions): 对两个 RDD 进行内连接，只返回连接上键相同的记录。 11. leftOuterJoin(otherDataSet, numPartitions): 进行左外连接，以左边 RDD 的键为主，如果右边 RDD 没有匹配的键，则对应值为 null。 12. rightOuterJoin(otherDataSet, numPartitions): 进行右外连接，以右边 RDD 的键为主，如果左边 RDD 没有匹配的键，则对应值为 null。 13. lookup(key): 返回 RDD 中给定键对应的值的列表。 14. filter(func): 返回一个新的 RDD，它是通过函数 func 过滤后的原 RDD 的子集。 15. fullOuterJoin(otherDataSet, numPartitions): 返回一个包含两个 RDD 所有键值对的 RDD，如果一个键在某个 RDD 中没有对应值，则结果中该键的值为 null。 16. collect(): 将分布式数据集中的元素收集到驱动程序中，返回一个数组。 除了上述的算子外，Scala 本身还提供许多强大的函数式编程特性，比如高阶函数、集合操作、模式匹配等，这些特性在 Spark 编程中也能得到充分利用。在学习 Spark 编程时，熟悉这些算子和 Scala 的函数式编程特性是非常重要的。