没有合适的资源?快使用搜索试试~ 我知道了~
hive运行前最后配置工作
资源推荐
资源详情
资源评论
在用hql执行表的操作时,select一些没用到mapreduce的操作都能够顺利完成,但是一旦用到内聚函数count或者sum等就会报错:
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2016-01-29 09:33:44,118 Stage-1 map = 0%, reduce = 0%
Ended Job = job_1454031176192_0001 with errors
Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from
org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec
很明显mapreduce根本就没启动,进度都是0,网上查找原因,有的说是map分配内存不合理,有的说是少了包,还有的说是hadoop和hive的版本不兼容。。。都没能解决问题
解决方法:
用系统自带的WordCount程序测试mapreduce能不能正常启动,看到底是mapreduce的问题还是hive运行的问题:
1、在hdfs上创建input目录,WordCount程序默认调用这个文件夹下的文件作为输入---hadoop fs -mkdir /input,默认output作为输出,如果原来有output要删除,让系统自己建-----hadoop fs -rm -r /output
2、创建word.txt文件并上传到hdfs-----hadoop fs -put /home/zhaozhiwei/TmpData/word.txt /input
3、调用系统自带的程序运行测试-------hadoop jar /home/zhaozhiwei/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /input /output
4、完成后查看输出目录-----hadoop fs -ls /output
5、查看输出结果------hadoop fs -cat /output/part-r-00000
正常运行的情况下应该是上面过程,但在执行完3时报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster,Please check whether your etc/hadoop/mapred-site.xml contains the below configuration。。。。
果然是mapreduce的原因不能正常启动,因为mapred-site.xml没有配置完全,
定位到此配置文件所在目录----cd /home/zhaozhiwei/hadoop-3.2.1/etc/hadoop
打开----vim mapred-site.xml
增加内容:
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2016-01-29 09:33:44,118 Stage-1 map = 0%, reduce = 0%
Ended Job = job_1454031176192_0001 with errors
Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from
org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec
很明显mapreduce根本就没启动,进度都是0,网上查找原因,有的说是map分配内存不合理,有的说是少了包,还有的说是hadoop和hive的版本不兼容。。。都没能解决问题
解决方法:
用系统自带的WordCount程序测试mapreduce能不能正常启动,看到底是mapreduce的问题还是hive运行的问题:
1、在hdfs上创建input目录,WordCount程序默认调用这个文件夹下的文件作为输入---hadoop fs -mkdir /input,默认output作为输出,如果原来有output要删除,让系统自己建-----hadoop fs -rm -r /output
2、创建word.txt文件并上传到hdfs-----hadoop fs -put /home/zhaozhiwei/TmpData/word.txt /input
3、调用系统自带的程序运行测试-------hadoop jar /home/zhaozhiwei/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /input /output
4、完成后查看输出目录-----hadoop fs -ls /output
5、查看输出结果------hadoop fs -cat /output/part-r-00000
正常运行的情况下应该是上面过程,但在执行完3时报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster,Please check whether your etc/hadoop/mapred-site.xml contains the below configuration。。。。
果然是mapreduce的原因不能正常启动,因为mapred-site.xml没有配置完全,
定位到此配置文件所在目录----cd /home/zhaozhiwei/hadoop-3.2.1/etc/hadoop
打开----vim mapred-site.xml
增加内容:
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
资源评论
-赵-Z-W-
- 粉丝: 0
- 资源: 5
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功