Spark——SparkContext简单分析1
需积分: 0 192 浏览量
2022-08-08
23:24:19
上传
评论
收藏 38KB DOCX 举报
Spark——SparkContext 简单分析
本篇文章就要根据源码分析 SparkContext 所做的一些事情，用过 Spark 的开发者都知
道 SparkContext 是编写 Spark 程序用到的第一个类，足以说明 SparkContext 的重要
性；这里先摘抄 SparkContext 源码注释来 简单介绍介绍 SparkContext，注释的第一句
话就是说 SparkContext 为 Spark 的主要入口点，简明扼要，如把 Spark 集群当作服
务端那 Spark Driver 就是客户端，SparkContext 则是客户端的核心；如注释所说
SparkContext 用于连接 Spark 集群、创建 RDD、累加器（accumlator）、广播变量
（broadcast variables），所以说 SparkContext 为 Spark 程序的根本都不为过，这
里使用的 Spark 版本为 2.0.1；
图片来自 Spark 官网，可以看到 SparkContext 处于 DriverProgram 核心位置，所
有与 Cluster、Worker Node 交互的操作都需要 SparkContext 来完成；
SparkContext 相关组件
1、SparkConf
SparkConf 为 Spark 配置类，配置已键值对形式存储，封装了一个
ConcurrentHashMap 类实例 settings 用于存储 Spark 的配置信息；配置项包括：
master、appName、Jars、ExecutorEnv 等等；
2、SparkEnv
SparkEnv 可以说是 Context 中非常重要的类，它维护着 Spark 的执行环境，包含有：
serializer、RpcEnv、block Manager、map output tracker、etc 等；所有的线程都可
以通过 SparkCotext 访问到同一个 SparkEnv 对象；SparkContext 通过
SparkEnv.createDriverEnv 创建 SparkEnv 实例；在 SparkEnv 中包含了如下主要对象：
SecurityManager：用于对权限、账号进行管理、Hadoop YARN 模式下的证书管理
等；
评论0