Spark-内核源码解析.docx

所需积分/C币: 9
浏览量·10
DOCX
2.69MB
2021-12-05 15:29:58 上传
AYXYSYS
  • 粉丝: 0
  • 资源: 30
精品专辑
内容简介:一、Spark 核心原理加强●课程说明高能预警Spark 源码从 1.x 的 40w 行发展到现在的近 100w 行,有 1400 多位大牛贡献了代码。整个 Spark 框架源码是一个巨大的工程,(一)Spark 专业术语定义1.Application/App:Spark 应用程序指的是用户编写的 Spark 应用程序/代码,包含了 Driver 功能代码和分布在集群中多个节点上运行的 Executor 代码。Spark 应用程序,由一个或多个作业 JOB 组成(因为代码中可能会调用多次 Action),如下图所示:  2.Driver:驱动程序Spark 中的 Driver 即运行上述 Ap...