Spark on Yarn之Executor内存管理 - 简书1
需积分: 0 123 浏览量
2022-08-04
13:58:29
上传
评论
收藏 2.01MB PDF 举报
2020/1/7 SparkonYarn
之
Executor
内
存
管
理
-
简
书
https://www.jianshu.com/p/10e91ace3378 1/7
Spark on Yarn
之之
Executor
内
存
管
理
内
存
管
理
荒
湖
1 2017.08.18 21:56:20
字
数
3,502
阅
读
9,660
本
⽂
1
、
2
、
3
节
介
绍
了
Spark
内
存
相
关
之
识
，
第
4
节
描
述
了
常
⻅
错
误
类
型
及
产
⽣
原
因
并
给
出
了
解
决
⽅
案
。
1
堆
内
和
堆
外
内
存
规
划
堆
内
和
堆
外
内
存
规
划
Executor
的
内
存
管
理
建
⽴
在
JVM
的
内
存
管
理
之上
，
Spark
对
JVM
的
空
间
（
Heap+Off-heap
）
进
⾏
了
更
为
详
细
的
分
配
，
以
充
分利
⽤
内
存
。
同
时
，
Spark
引
⼊
了
Off-heap
（
TungSten
）
内
存
模
式
，
使
之
可
以
直
接
在
⼯
作
节
点
的
系
统
内
存
中
开
辟
空
间
，
进
⼀
步
优
化
了
内
存
的
使
⽤
（
可
以
理
解
为
是
独
⽴
于
JVM
托
管
的
Heap
之
外
利
⽤
c-style
的
malloc
从
os
分
配
到
的
memory
。
由
于
不
再
由
JVM
托
管
，
通
过
⾼
效
的
内
存
管
理
，
可
以
避
免
JVM object overhead
和
Garbage collection
的
开
销
）
。
运
⾏
于
Executor
中
的
Task
同
时
可
使
⽤
JVM
和
Off-heap
两
种
模
式
的
内
存
。
JVM OnHeap
内
存
：
⼤
⼩
由
”--executor-memory”(
即
spark.executor.memory)
参
数
指
定
。
Executor
中
运
⾏
的
并
发
任
务
共
享
JVM
堆
内内
存
。
JVM OffHeap
内
存
：
⼤
⼩
由
“spark.yarn.executor.memoryOverhead”
参
数
指
定
，
主
要
⽤
于
JVM
⾃
⾝
，
字
符
串
, NIO Buffer
等
开
销
。
Off-heap
模
式
：
默
认
情
况
下
Off-heap
模
式
的
内
存
并
不
启
⽤
，
可
以
通
过
“spark.memory.offHeap.enabled”
参
数
开
启
，
并
由
spark.memory.offHeap.size
指
定
堆
外
内
存
的
⼤
⼩
（
占
⽤
的
空
间
划
归
JVM OffHeap
内
存
）
。
==
备
注
==
：
我
们
现
在
未
启
⽤
Off-heap
模
式
的
内
存
，
因
此
，
只
介
绍
JVM
模
式
的
Executor
内
存
管
理
。
以
下
出
现
有
Off-heap
均
为
JVM
中
区
别
于
Heap
的
内
存
。
2 Executor
内
存
划分
内
存
划分
2.1 Executor
可
⽤
内
存
总
量
可
⽤
内
存
总
量
Executor
内
存
模
型
如
上
图
所
⽰
，
Yarn
集
群
管
理
模
式
中
，
Spark
以
Executor Container
的
形
式
在
NodeManager
中
运
⾏
，
其
可
使
⽤
的
内
存
上
限
由
“yarn.scheduler.maximum-allocation-mb”
指
定
, ====
我
们
可
以
称
其
为
MonitorMemory ====
。
荒
湖
总
资
产
28 (
约
2.70
元
)
Hadoop Security
机
制
下
跨
集
群
⽇
志
分
离
认证
问
题
解
决
⽅
案
阅
读
219
Resource Manager YGC
停
顿
过
⻓
分
析
阅
读
1,060
关
注
关
注
推
荐
阅
读
简
单
说说
数
据
仓
库
阅
读
134
hive
表
之
简
单
窗
⼝
函
数
over()
阅
读
160
ETL
⼯
具
--datax
阅
读
1,405
flink
整
合
kafka
实
现
消
费
和
⽣
产
阅
读
393
基
于
flink sql
构
建
实
时
数
据
仓
库
阅
读
794
Spark on Yarn
之之
Executor
内
存
管
理
内
存
管
理
荒
湖
关
注
赞赏
⽀
持
评论
4
赞
25
写
下
你
的
评论
...
评论0