华为专有和保密信息
版权所有 © 华为技术有限公司
目 录
SPARK ........................................................................................................................................ 3
1、基本概念 ..................................................................................................................... 3
【概述】 ................................................................................................................... 3
【FI 中的 Spark】 ..................................................................................................... 5
【日志概述】 ........................................................................................................... 5
【任务信息收集】 ................................................................................................... 7
2、常见问题 ................................................................................................................... 10
【Spark 任务提交失败】 ....................................................................................... 10
[SPARK-10001] Driver 端提示 executor memory 超限 .................................. 10
[SPARK-10002] Yarn-clsuter 模式下，Can't get the Kerberos realm 异常 ..... 11
[SPARK-10003] 找不到用户组导致提交失败 ............................................... 12
[SPARK-10004] Jdk 版本不匹配启动 spark-sql，spark-shell 失败 ................ 13
[SPARK-10005] 提交 spark 任务时，连接 ResourceManager 异常 ............. 13
[SPARK-10006]端口绑定不成功导致任务提交失败 ..................................... 15
[SPARK-10007] 集群外安装客户端提交 spark 任务失败 ............................ 15
【Spark 任务提交后，一直处于 Accept 状态，无法正常运行】 ...................... 16
[SPARK-20001] Driver 端提示 executor memory 超限 .................................. 16
【Spark 任务运行出现异常】 ............................................................................... 17
[SPARK-30001] 使用 Beeline 连接 JDBCServer Load 本地文件执行异常 .... 17
[SPARK-30002] Spark 任务 spark.driver.maxResultSize 不足异常 ................. 18
[SPARK-30003] SparkContext 初始化失败 ..................................................... 18
[SPARK-30004] 无可用 Node 导致 Spark 运行失败 ..................................... 19
[SPARK-30005] Spark 任务访问 HBase，报认证异常 ................................... 20
[SPARK-30006] Driver 内存不足导致任务运行失败 ..................................... 21
[SPARK-30007] Container 运行 memory 超限导致 container 挂掉 .............. 21
[SPARK-30008] Container 运行 OOM 异常导致 container 挂掉 ................... 22
评论0