没有合适的资源?快使用搜索试试~ 我知道了~
trace-analysis:分析Spark性能的脚本
共75个文件
py:16个
gp:4个
2a_mem_job_log:2个
需积分: 12 0 下载量 195 浏览量
2021-05-18
07:10:15
上传
评论
收藏 66.96MB ZIP 举报
温馨提示
了解Spark性能 注意:现在已弃用这些脚本,因为它们显示的信息现在是Apache Spark UI的一部分。 要查看阶段中的每个任务如何花费时间,请在Spark UI中单击阶段详细信息页面,然后单击“事件时间轴”。 这将显示此处脚本输出的绘图(看起来更好)。 该存储库包含脚本,以了解使用运行的作业的性能。 配置Spark记录性能数据 为了使用这些工具,您首先需要通过将Spark配置参数spark.eventLog.enabled为true ,将Spark配置为在作业运行时记录性能数据。 此配置参数使Spark主数据库将包含有关每个已完成任务的信息的日志写入主数据库中的文件。 母版已经跟踪了此信息(大部分信息显示在Spark的Web UI中); 设置此配置选项只会使主机输出所有数据供以后使用。 默认情况下,事件日志将写入运行Spark主服务器的计算机上的/tmp/spark-events
资源推荐
资源详情
资源评论
收起资源包目录
trace-analysis-master.zip (75个子文件)
trace-analysis-master
make_disk_breakdown.sh 294B
utilization_scatter_base.gp 827B
parse_all.py 474B
all_utilization.py 2KB
job.py 36KB
stage.py 14KB
utilization_scatter.py 2KB
breakeven.py 5KB
parse_logs.py 8KB
04_15_14_full
2b_mem_job_log 27.64MB
3b_mem_job_log 29.86MB
2a_mem_job_log 27.61MB
1a_mem_job_log 37KB
4_disk_job_log 29.29MB
3a_mem_job_log 29.6MB
1b_disk_job_log 37KB
1b_mem_job_log 37KB
3b_disk_job_log 29.91MB
2b_disk_job_log 27.66MB
2c_mem_job_log 27.63MB
4_mem_job_log 29.44MB
1c_mem_job_log 37KB
2a_disk_job_log 27.67MB
1c_disk_job_log 37KB
3c_disk_job_log 29.86MB
2c_disk_job_log 27.65MB
1a_disk_job_log 37KB
3c_mem_job_log 29.86MB
3a_disk_job_log 29.6MB
upload.py 87KB
waterfall_base.gp 961B
running_tasks_template.gp 713B
04_15_14_disk
4_disk_job_log 29.29MB
1b_disk_job_log 37KB
3b_disk_job_log 29.91MB
2b_disk_job_log 27.66MB
2a_disk_job_log 27.67MB
1c_disk_job_log 37KB
3c_disk_job_log 29.86MB
2c_disk_job_log 27.65MB
1a_disk_job_log 37KB
3a_disk_job_log 29.6MB
test_files
test_job_log 2KB
expected_agg_out_normalized_runtimes_hdfs_non_local 4B
expected_agg_out_normalized_runtimes_hdfs 20B
scatter_base.gp 819B
README.md 12KB
simulate.py 924B
disk_utilization.py 2KB
estimate_runtime_lower_bound.py 5KB
task.py 15KB
04_15_14_mem
2b_mem_job_log 27.64MB
3b_mem_job_log 29.86MB
2a_mem_job_log 27.61MB
1a_mem_job_log 37KB
3a_mem_job_log 29.6MB
1b_mem_job_log 37KB
2c_mem_job_log 27.63MB
4_mem_job_log 29.44MB
1c_mem_job_log 37KB
3c_mem_job_log 29.86MB
concurrency.py 2KB
sample_waterfall.jpg 94KB
parse_stragglers.py 1KB
job_logs
2a_1391737661_job_log 531KB
3a_1391755165_job_log 624KB
3c_1391756030_job_log 574KB
2b_1391753636_job_log 531KB
3b_1391755678_job_log 627KB
1391736456_job_log 2KB
1391736806_job_log 2KB
2c_1391754052_job_log 531KB
get_query_stats.py 3KB
plot_proc_results.py 19KB
run_tests.sh 478B
共 75 条
- 1
资源评论
邱笑晨
- 粉丝: 44
- 资源: 4553
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功