【免费】【Spark内核篇02】Spark模式运行机制1资源-CSDN文库

需积分: 0 91 浏览量 2022-08-04 16:13:53 上传评论收藏 479KB PDF 举报

资源详情

资源评论

资源推荐

乘法思维！！！

Spark模式运行机制

Yarn模式运行机制

Yarn-Cluster模式

（1）执行脚本提交任务，实际是启动一个SparkSubmit的JVM进程；

（2）SparkSubmit类中的main方法反射调用Client的main方法；

（3）Client创建Yarn客户端，然后向Yarn发送执行指令：bin/java ApplicationMaster；

（4）Yarn框架收到指令后会在指定的NM中启动ApplicationMaster；

（5）ApplicationMast启动Driverer线程，执行用户的作业；

（6）AM向RM注册，申请资源；

（7）获取资源后AM向NM发送指令：bin/java CoarseGrainedExecutorBacken；

（8）ExecutorBackend进程会接收消息，启动计算对象Executor并跟Driver通信，注册已经启动的

Executor；

（9）Driver分配任务并监控任务的执行。

注意：SparkSubmit、ApplicationMaster和CoarseGrainedExecutorBacken是独立的进程；Client和

Driver是独立的线程；Executor是一个对象。

Yarn-Client模式

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

评论0

内容反馈

我只匆匆而过

粉丝: 14
资源: 317

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip