Spark源码系列(四)图解作业生命周期

所需积分/C币:5 2021-03-03 20:22:10 263KB PDF
7
收藏 收藏
举报

这一章我们探索了Spark作业的运行过程,但是没把整个过程描绘出来,好,跟着我走吧,letyouknow!我们先回顾一下这个图,DriverProgram是我们写的那个程序,它的核心是SparkContext,回想一下,从api的使用角度,RDD都必须通过它来获得。下面讲一讲它所不为认知的一面,它和其它组件是如何交互的。SparkContext实例化之后,在内部实例化两个很重要的类,DAGScheduler和TaskScheduler。在standalone的模式下,TaskScheduler的实现类是TaskSchedulerImpl,在初始化它的时候SparkContext会传入一个Spa

...展开详情
试读 4P Spark源码系列(四)图解作业生命周期
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
Spark源码系列(四)图解作业生命周期 5积分/C币 立即下载
1/4
Spark源码系列(四)图解作业生命周期第1页

试读结束, 可继续读1页

5积分/C币 立即下载 >