Spark源码系列(五)分布式缓存

所需积分/C币:5 2021-03-03 20:22:41 170KB PDF
12
收藏 收藏
举报

这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的,所以我们直接打开RDD这个类。它调用SparkContext去缓存这个RDD,追杀下去。它居然是用一个HashMap来存的,具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。把存进去的值都隐式转换成WeakReference,然后加到一个内部的一个ConcurrentHashMap里面。这里貌似也没干啥,这是有个鸟蛋用。。大神莫喷,知道干啥用的人希望告诉我一下。现在并没有保存,等到真正运行Task运行的时候才会去缓存起来。入口在Task的runTask方

...展开详情
试读 7P Spark源码系列(五)分布式缓存
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
Spark源码系列(五)分布式缓存 5积分/C币 立即下载
1/7
Spark源码系列(五)分布式缓存第1页
Spark源码系列(五)分布式缓存第2页

试读结束, 可继续读1页

5积分/C币 立即下载 >