Spark应用程序WebUI详解.docx
5星 · 超过95%的资源 需积分: 36 201 浏览量
2019-06-18
10:56:07
上传
评论
收藏 507KB DOCX 举报 
Spark WebUI 展示了 Spark 集群信息和 Spark 应用程序信息。
Spark 应用程序信息
首先启动 spark 和 hdfs
启动 ./spark-shell --master spark://bigdata01:7077，WebUI 显示如下：
在 spark-shell 中运行代码
val textFile=sc.textFile("hdfs://bigdata01:9000/testdata/spark-2.2.0-bin-hadoop2.7.tgz")
textFile.count
查看 WebUI 点击应用程序的 name
显示 jobs tab，列出了当前 spark 应用程序(spark-shell)运行的 job 列表:
理论：一个 aco n 的执行至少会触发一个 job,一个 job 包括多个 task。
查看 spark 源码，可以看到 ac+on 方法里面都执行了 runJob()方法。
点击 job 列表中的 Descrip+on
- 1
- 2
前往页