Spark基础知识04——窄依赖、宽依赖、DAG、缓存

所需积分/C币:9 2021-01-07 09:21:42 363KB PDF
9
收藏 收藏
举报

一、宽窄依赖 RDD和它依赖的父RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。 窄依赖: 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结:窄依赖我们形象的比喻为独生子女 宽依赖 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 总结:宽依赖我们形象的比喻为超生 ps:Spark中产生宽窄依赖的依据是shuffle,当发生shuffle时,会产生宽依赖,基本上shuffle算子都会产生宽依赖,但是join除外,在执行join算子之前

...展开详情
试读 6P Spark基础知识04——窄依赖、宽依赖、DAG、缓存
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
Spark基础知识04——窄依赖、宽依赖、DAG、缓存 9积分/C币 立即下载
1/6
Spark基础知识04——窄依赖、宽依赖、DAG、缓存第1页
Spark基础知识04——窄依赖、宽依赖、DAG、缓存第2页

试读结束, 可继续阅读

9积分/C币 立即下载 >