大数据处理框架：Spark：Spark基础架构与原理.docx_钢材资源-CSDN文库

版权申诉

大数据教程

178 浏览量 2024-09-02 20:04:27 上传评论收藏 33KB DOCX 举报

资源推荐

资源详情

资源评论

1

大数据处理框架：Spark：Spark 基础架构与原理

1 Spark 概述

1.1 1 Spark 的历史与发展

Spark 是由加州大学伯克利分校的 AMPLab 开发的一个开源集群计算框架，

最初由 Matei Zaharia 在 2009 年作为他的博士项目的一部分创建。Spark 的设计

目标是提供一个比 Hadoop MapReduce 更快、更通用的数据处理平台。2010 年，

Spark 成为了 Apache 的孵化项目，并在 2014 年 2 月正式成为 Apache 的顶级项

目。自那时起，Spark 社区迅速壮大，吸引了来自全球的开发者和贡献者，不断

推动 Spark 的功能和性能边界。

1.1.1 版本演进

Spark 的版本从最初的 0.1.0 发展到目前的 3.x，每一次版本更新都伴随着性

能优化和新功能的添加。例如，Spark 2.0 引入了 Dataset API，结合了 RDD 和

DataFrame 的优点，提供了更丰富的数据处理能力。Spark 3.0 则进一步优化了

SQL 引擎，增强了流处理能力，并引入了新的机器学习库。

1.2 2 Spark 的核心特性

1.2.1 弹性分布式数据集（RDD）

RDD 是 Spark 的核心数据结构，是一个不可变的、分布式的数据集合。RDD

支持两种操作：转换（Transformation）和行动（Action）。转换操作会创建一个

新的 RDD，而行动操作则会触发计算并将结果返回给驱动程序。

1.2.1.1 示例代码

#

创建一个

RDD

from pyspark import SparkContext

sc = SparkContext("local", "First App")

#

从本地文件系统读取数据

lines = sc.textFile("data.txt")

#

转换操作：将每一行数据转换为单词

words = lines.flatMap(lambda line: line.split(" "))

#

行动操作：计算单词的总数

剩余19页未读，继续阅读

内容反馈

版权申诉

kkchenjj

粉丝: 2w+
资源: 5470

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip