hiveonsparkmr数据开发常见问题解决_hive中文乱码如何解决资源-CSDN文库

16 浏览量 2023-11-20 15:16:10 上传评论收藏 19KB DOC 举报

资源推荐

资源详情

资源评论

开发人员在 Hive 日常开发过程中难免遇到各种各样的 hive 报错，这些报错信息很多时间并

没有形成汇总的知识库，每次遇到问题都会重复查资料，效率非常低现在总结一些常见的

知识库，方便大家查看并分析：

最近工作的公司，我们常常见的错误有

shuffle in fetcher#6 at

GC overhead limit exceeded

Unknown primitive type VOID

Output column number expected to be 0 when isRepeating

from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

1）hive 作业 hive 作业数据量过大时，有时候会报错 shuffle in fetcher#6 at 错误

错误描述 Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle

in fetcher#6 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at

解决方法：

限制 reduce 的 shuffle 内存使用

set mapreduce.reduce.shuffle.input.buffer.percent=0.2;

原因分析 http://www.it165.net/admin/html/201503/5084.html

2）hive 作业错误描述

FAILED: Execution Error, return code 3 from

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

解决方法：一般存在 MapJoin，设置参数 set hive.auto.convert.join = false

3）hive 作业

Failed to get a spark session create failed Failed to get a spark session

解决方法：基于现在有少量 hive on spark 作业因集群 yarn 资源晚上部分时刻紧张问题申请

等待超时，计划将 hiveserver2 服务中的 hive&spark 客户交互时间参数

hive.spark.client.server.connect.timeout 默认值设置大点目前统一设置成 5 分钟了，之前默

认 90 秒

4)hive 作业 java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError: GC

overhead limit exceeded

报错信息为 map 端的 orc 写入堆内存溢出相关错误

java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError: GC overhead limit

exceeded

解决方法：

set hive.exec.orc.default.compress.size=8192;

set mapreduce.map.memory.mb=2048;

set hive.exec.orc.default.buffer.size=16384;

set hive.exec.orc.skip.corrupt.data=true;

5）hive 作业 java.lang.OutOfMemoryError: Java heap space OutOfMemoryError: GC overhead

limit exceededmap 端内存溢出

解决方法”set hive.auto.convert.join = false;

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余5页未读，立即下载

内容反馈

lin0207180

粉丝: 1
资源: 18

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip