Apache Spark中,对Block的查询、存储管理,是通过唯一的BlockID来进行区分的。所以,了解Block ID的生成规,能够帮助我们了解Block查询、存储过程中是如何定位Block以及如何处理互斥存储/读取同一个Block的。可以想到,同一个SparkApplication,以及多个运行的Application之间,对应的Block都具有唯一的ID,通过代码可以看到,BlockID包括:RDDBlockId、ShuffleBlockId、ShuffleDa
评论星级较低,若资源使用遇到问题可联系上传者,3个工作日内问题未解决可申请退款~