一文理清ApacheSpark内存管理脉络

Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解con Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。 在执行Spark的应用程序时，Spark集群会启动Driver和Executor两种 JVM进程，前者为主控进程，负责创建Spark上下文，提交Spark作业(Job)，并将作业转化为计算任务(Task)