1
大数据处理框架：Spark：Spark SQL 与 DataFrame 教程
1 Spark 概述
1.1 1 Spark 简介
Spark 是一个开源的、分布式的大数据处理框架，由加州大学伯克利分校的
AMPLab 开发，后捐赠给 Apache 软件基金会，成为其顶级项目。Spark 设计的
初衷是为了提供比 Hadoop MapReduce 更快的处理速度和更丰富的数据处理能
力。它通过内存计算和 DAG（有向无环图）调度机制，实现了对大规模数据集
的快速处理。Spark 支持 Scala、Java、Python 和 R 等多种编程语言，使得开发
者可以根据自己的需求和语言偏好进行选择。
1.1.1 特点
� 速度快：Spark 通过将数据存储在内存中，减少了磁盘 I/O，从而
大大提高了数据处理速度。
� 易用性：Spark 提供了高级的 API，如 DataFrame 和 Dataset，使得
数据处理更加简单直观。
� 通用性：Spark 不仅支持批处理，还支持实时数据流处理、机器学
习、图计算等多种数据处理场景。
� 容错性：Spark 通过 RDD（弹性分布式数据集）的机制，实现了数
据的自动恢复，提高了系统的容错能力。
1.2 2 Spark 架构
Spark 的架构主要由以下几个部分组成：
1.2.1 驱动程序（Driver Program）
驱动程序是 Spark 应用程序的控制中心，负责调度任务、管理应用的上下
文和执行计划。
1.2.2 执行器（Executor）
执行器是 Spark 集群中的工作节点，负责执行任务并存储计算结果。执行
器可以运行在多个节点上，每个节点可以有多个执行器。
1.2.3 分布式数据集（RDD）
RDD 是 Spark 中最基本的数据抽象，是一个不可变的、分布式的数据集合。
RDD 提供了丰富的操作，包括转换（Transformation）和行动（Action）。
剩余26页未读，继续阅读
资源评论
