没有合适的资源?快使用搜索试试~ 我知道了~
sparksql 离线任务优化
资源推荐
资源详情
资源评论
sparkSql
离
线
任
务
优
化
执
⾏
原
理
sql
⽣
成
物
理
执
⾏
计
划
1. SQL
解
析
:
将
输
⼊
的
SQL
语
句
解
析
成抽
象语
法
树
2.
语
义
分
析
:
对
解
析
得
到
的
语
法
树
进
⾏
语
义
分
析
,
包
括
类
型
检查
、
表
达
式
优
化
、
列
名
解
析
等
3.
逻
辑
优
化
:
对
语
义
分
析
得
到
的
语
法
树
进
⾏
逻
辑
优
化
,
包
括
谓词
下
推
、
列剪
裁
、
列
裁
剪
等
4.
逻
辑
计
划
⽣
成
:
根
据
优
化
后
的
语
法
树
⽣
成
逻
辑
执
⾏
计
划
。
逻
辑
执
⾏
计
划
是
⼀个
抽
象
的
、
⽆
具
体
数
据
源
依
赖
的
有
向
⽆
环
图
,
图
节
点
描
述
了
数
据
的
转
换
操
作
,
⽐
如
过
滤
、
投
影
、
聚
合
等
5.
物
理
计
划
⽣
成
:
根
据
逻
辑
执
⾏
计
划
⽣
成
物
理
执
⾏
计
划
。
物
理
执
⾏
计
划
是
具
体
的
执
⾏
计
划
,
包
含
了
数
据
源
的
信
息
、
数
据
分
区
的
信
息
、
数
据
分
发
的
策
略
等
6.
物
理
计
划
优
化
:
对
物
理
执
⾏
计
划
进
⾏
优
化
,
包
括
数
据
倾
斜
处
理
、
数
据
重
分
布
、
操
作
重
排
序
等
7.
使
⽤
explain
语
句
查
看
执
⾏
计
划
:
a.
核
⼼
是
判
断
存
在
数
据
交
换
的
算
⼦
:
exchange
i. Sql
关
键
字
:
group
、
join
、
over
、
distribute
、
order
、
limit
、
hint
语
法
b.
执
⾏
计
划
仅
反
应
可
能
性
最
⼤
的
执
⾏
⽅
式
,
具
体
执
⾏
时
会
存
在
优
化
⾏
为
sparkSql
抽
象语
法
树
关
键
字
逻
辑
计
划
逻
辑
优
化
物
理
计
划
翻
译
成
代
码
explain
select cluster,count(distinct job_id) as job_cnt
from hive_zjyprc_hadoop.meta.dwd_prod_yarn_app_cu_di
where date = ${date - 1} and app_id>''
group by cluster
order by cluster;
== Physical Plan ==
AdaptiveSparkPlan isFinalPlan=false
+- Sort [cluster#14280 ASC NULLS FIRST], true, 0
1
2
3
4
5
6
7
8
9
10
11
+- Exchange rangepartitioning(cluster#14280 ASC NULLS FIRST, 1000),
ENSURE_REQUIREMENTS, [id=#24418]
+- HashAggregate(keys=[cluster#14280], functions=[count(distinct
job_id#14304L)])
+- Exchange hashpartitioning(cluster#14280, 1000),
ENSURE_REQUIREMENTS, [id=#24415]
+- HashAggregate(keys=[cluster#14280], functions=
[partial_count(distinct job_id#14304L)])
+- HashAggregate(keys=[cluster#14280, job_id#14304L], functions=
[])
+- Exchange hashpartitioning(cluster#14280, job_id#14304L,
1000), ENSURE_REQUIREMENTS, [id=#24411]
+- HashAggregate(keys=[cluster#14280, job_id#14304L],
functions=[])
+- Project [cluster#14280, job_id#14304L]
+- Filter (isnotnull(app_id#14282) AND (app_id#14282
> ))
+- FileScan parquet
meta.dwd_prod_yarn_app_cu_di[cluster#14280,app_id#14282,job_id#14304L,date#1431
4] Batched: true, DataFilters: [isnotnull(app_id#14282), (app_id#14282 > )],
Format: Parquet, Location: InMemoryFileIndex[hdfs://zjyprc-
hadoop/user/h_data_platform/platform/meta/dwd_prod_yarn_app_cu_di...,
PartitionFilters: [isnotnull(date#14314), (date#14314 = 20240723)],
PushedFilters: [IsNotNull(app_id), GreaterThan(app_id,)], ReadSchema:
struct<cluster:string,app_id:string,job_id:bigint>
12
13
14
15
16
17
18
19
20
21
物
理
计
划
执
⾏
过
程
1.
申
请
资
源
,
启
动
Executor
2.
划分
Stage
,
⽣
成
相
应
的
TaskSet
a.
确
定
节
点
(
scan
、
aggregate
、
join
等算
⼦
)
依
赖
关
系
i.
宽
依
赖
:
⼦
节
点
依
赖
⽗
节
点
多
个
分
区
,
通
常
会
涉
及
到
数
据
的
数
据
的
重
新
组
合
与
分
布
(
group
、
join
、
order
等
)
ii.
窄
依
赖
:
⼦
节
点
只
依
赖
⽗
节
点
⼀个
分
区
b.
基
于
依
赖
关
系
将
节
点
划分到
不
同
的
Stage
3. TaskScheduler
将
Task
分
配
到
Executor
执
⾏
spark
⽇
志
1. Stage
指
标
判
断
耗
时
原
因
:
资
源
(
并
⾏
度
)
、
倾
斜
、
并
发
度
(
分
区
数
)
a. Stage
级
别
指
标
:
时
⻓
,
任
务
数
(
并
发
度
)
b. Stage
中
Task
百
分
位
指
标
:
时
⻓
、
数
据
量
的
中
位
数
及
峰
值
2. Dag
图
确
定
Stage
的
执
⾏
算
⼦
以
及
对
应
的
sql
代
码
块
a.
简
化
版
Dag
图
:
了
解
⼤
致
的
执
⾏
流
程
b.
完
整
版
Dag
图
,
包
含
算
⼦
详
情
:
主
要
从
算
⼦
【
优
先
从
shuffle
相
关
的
开
始
查
】
涉
及
的
具
体
字
段
来
判
断
Stage
对
应
的
具
体
sql
代
码
块
3. Task
⽇
志
a. Task
指
标
:
Index
对
应
Stage
中
分
区
编
号
,
TaskID
为
整
个
sql
中
task
的
提
交
编
号
b. Task
运
⾏
⽇
志
:
按
执
⾏
时
间
或
者
task.Index
查
找
Task
相
关
⽇
志
,
gc
⽇
志
主
要
关
注
fullgc
频
率
Sql
执
⾏
异
常
识
别
1.
发
现
异
常
Stage
a.
基
于
作
业
执
⾏
时
⻓
获
取
⻓
耗
时
作
业
b.
从
spark
⽇
志
Stage
⻚
⾯
获
取
⻓
耗
时
Stage
c.
基
于
Stage
中
Task
百
分
位
指
标
判
断
Stage
执
⾏
特
点
剩余21页未读,继续阅读
资源评论
Direction_Wind
- 粉丝: 5328
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- [2212410010302][卢雪燕]实验报告1.doc
- java源码 仿360buy京东商城源码 京东JavaWeb项目源代码.zip
- 计算机课程设计:构建个人博客平台基础教程.md
- JAVAWEB校园订餐系统项目源码.zip
- javaweb物流配货项目源码.zip
- 用LINGO解决数学问题.pdf
- uni-app小型项目
- 自动追频超声波发生器,方案,资料 半桥数码管显示的方案,可直,留邮箱,此款是AVR单片机,和数码管显示的,
- Java 项目-Javaweb仓库管理系统项目源码.zip
- SDR软件无线电开发板ZYNQ7020+AD9361 FPGA+STM32代码原理图资料 送fpga数字图像处理资料
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功