spark课程复习资料
需积分: 0 116 浏览量
2024-05-15
13:01:13
上传
评论 1
收藏 3.94MB PDF 举报
1
第一章
1、Spark 的生态系统：Spark：基于内存运算，代替 Hadoop 中的计算（MapReduce）
Sqoop：基于内存（内存编程模式）；MapReduce：离线编程模式
Spark 和 Hadoop 的区别和联系：
对比项
Spark
Hadoop
大数据框架
是
是
分布式存储
本身没有存储特性，支持 HDFS
自带 HDFS
并行计算
是
是
计算效率
内存计算效率高
调用磁盘 ID 较多，相对慢
框架
支持 Yarm，HDFS，但是不强制依赖
强制依赖 YARN 和 HDFS
2、Spark 的构架设计和运行流程：
Spark 作业运行流程
1、构建 Spark Application 的运行环境，启动𝑆𝑝𝑎𝑟𝑘𝐶𝑜𝑛𝑡𝑒𝑥𝑡
2、𝑆𝑝𝑎𝑟𝑘𝐶𝑜𝑛𝑡𝑒𝑥𝑡向资源管理器 Spark Master（可以是 Standalone、Mesos、
YARN）注册申请运行 Executor 资源
3、资源管理器分配 Executor 资源，并启动 Executor。并且 Executor 发送心跳给资源管理器
4、Executor 向𝑆𝑝𝑎𝑟𝑘𝐶𝑜𝑛𝑡𝑒𝑥𝑡申请 Task
5、𝑆𝑝𝑎𝑟𝑘𝐶𝑜𝑛𝑡𝑒𝑥𝑡将应用程序分发给 Executor。具体包括构建 DAG 图，将 DAG 图分
解成 Stage，将 Taskset 发送给𝑇𝑎𝑠𝑘𝑆𝑐ℎ𝑒𝑑𝑢𝑙𝑒𝑟，以及由 Task Scheduler 将 Task 发
送给 Executor 运行。
6、Task 在 Executor 上运行，运行完释放所有资源。
Spark 使用 Scala 语言进行开发，Scala 运行在 Java 平台之上
Spark 运行在 Linux 操作系统下
Linux 的操作系统的好处：文件操作系统（一切皆为文件）、开源（免费）
剩余29页未读，继续阅读
资源评论
