1
大数据处理框架：Spark：Spark 基础架构与原理
1 Spark 概述
1.1 1 Spark 的历史与发展
Spark 是由加州大学伯克利分校的 AMPLab 开发的一个开源集群计算框架，
最初由 Matei Zaharia 在 2009 年作为他的博士项目的一部分创建。Spark 的设计
目标是提供一个比 Hadoop MapReduce 更快、更通用的数据处理平台。2010 年，
Spark 成为了 Apache 的孵化项目，并在 2014 年 2 月正式成为 Apache 的顶级项
目。自那时起，Spark 社区迅速壮大，吸引了来自全球的开发者和贡献者，不断
推动 Spark 的功能和性能边界。
1.1.1 版本演进
Spark 的版本从最初的 0.1.0 发展到目前的 3.x，每一次版本更新都伴随着性
能优化和新功能的添加。例如，Spark 2.0 引入了 Dataset API，结合了 RDD 和
DataFrame 的优点，提供了更丰富的数据处理能力。Spark 3.0 则进一步优化了
SQL 引擎，增强了流处理能力，并引入了新的机器学习库。
1.2 2 Spark 的核心特性
1.2.1 弹性分布式数据集（RDD）
RDD 是 Spark 的核心数据结构，是一个不可变的、分布式的数据集合。RDD
支持两种操作：转换（Transformation）和行动（Action）。转换操作会创建一个
新的 RDD，而行动操作则会触发计算并将结果返回给驱动程序。
1.2.1.1 示例代码
#
创建一个
RDD
from pyspark import SparkContext
sc = SparkContext("local", "First App")
#
从本地文件系统读取数据
lines = sc.textFile("data.txt")
#
转换操作：将每一行数据转换为单词
words = lines.flatMap(lambda line: line.split(" "))
#
行动操作：计算单词的总数
剩余19页未读，继续阅读
资源评论
