没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
内容概要:该文档详细介绍了一步一步地在 CentOs 6 平台上编译安装配置 Hadoop 2.6 的详细步骤,涵盖从编译、安装到运行的全过程指导,并附有问题排查方法及简单例子演示流程。 适合人群:从事大数据领域的IT工作者,尤其是负责运维和后台的大数据平台开发者和系统管理员。 使用场景及目标:适用于构建基于 Hadoop 2.6 的企业级分布式文件系统及计算平台的需求分析、安装配置、测试验证等方面的工作任务。 其他说明:文档不仅提供详细的配置步骤,还包括常见问题解决方案,非常适合初学者或新手在安装过程中解决问题。
资源推荐
资源详情
资源评论
《大数据学习之路》系列分享专栏
简介
分析大数据学习路上遇到的各种坑,为新学习大数据的人铺平道路
文章
CentOS 编译Hadoop 2.6 32位
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (三)问题收集
CentOS 6 安装Hadoop 2.6 (四)运行简单例子
CentOS下ZooKeeper单机模式、集群模式安装
CentOS下Storm 1.0.0集群安装详解
CentOS下Hive2.0.0单机模式安装详解
CentOS下Hive2.0.0集群模式安装详解
Kafka单机、集群模式安装详解(一)
Kafka单机、集群模式安装详解(二)
Kafka使用Java客户端进行访问
Hive体系结构(一)架构与基本组成
Hive体系结构(二)Hive的执行原理、与关系型数据库的比较
Hive体系结构(三)元数据库与基本操作
Hive体系结构(四)注意事项与扩展特性
HiveQL基本操作整理
15分钟了解Apache Phoenix(HBase的开源SQL引擎)
HDFS High Availability体系介绍(Using the Quorum Journal Manager)
Presto常用语句整理
Flume性能测试报告
CentOS 编译Hadoop 2.6 32位
本文采用CenOS 6 32位,JDK1.7进行编译。建议使用2G以上内存的电脑进行编译,不然有可能报内存不足。
(1)安装编译库
yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst
(2)安装maven
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
yum -y install apache-maven
(3)安装 protobuf(重要)
原google code官网已经迁移到github,请注意hadoop需要使用2.5.0进行编译,不然会出现编译错误。
wget "https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz"
tar xzvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
make
make install
protoc --version
出现以下提示则为安装成功
libprotoc 2.5.0
(4)下载并编译
wget "http://apache.opencas.org/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz"
tar xzvf hadoop-2.6.4-src.tar.gz
cd hadoop-2.6.4-src
mvn clean package -Pdist,native -DskipTests -Dtar
(5)编译完成
编译完成后将生成hadoop-2.6.4.tar.gz。
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (一)准备工作
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (三)问题收集
CentOS 6 安装Hadoop 2.6 (四)运行简单例子
下文服务器描述:一个主节点master,2个从节点slave1和slave2。
1. 解压文件
tar -xzvf hadoop-2.6.4.tar.gz
mv hadoop-2.6.4 /opt/
2. 配置环境变量
vi etc/profile
到末尾增加以下内容
HADOOP_HOME=/opt/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
更新文件:
source /etc/profile
在其他服务器上也执行类似操作。
3.修改配置
cd /opt/hadoop-2.6.4/etc/hadoop
(1) hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_77
export HADOOP_PREFIX=/opt/hadoop-2.6.4
(2) yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_77
(3) core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.4/tmp</value>
</property>
</configuration>
请先建立请先建立/opt/hadoop-2.6.4/tmp文件夹文件夹
(4) hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.6.4/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.6.4/dfs/data</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
请先建立请先建立/opt/hadoop-2.6.4/dfs/data与与/opt/hadoop-2.6.4/dfs/name文件夹文件夹
(5) mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(6) yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
(7) slaves
slave1
slave2
将从节点的hostname写入这个文件
4. 拷贝到其他主机
每台服务器的每台服务器的Hadoop目录地址需要完全一致目录地址需要完全一致
将配置好的hadoop拷贝slave1和slave2:
scp -r /opt/hadoop-2.6.4 root@slave1:/opt/
scp -r /opt/hadoop-2.6.4 root@slave2:/opt/
请注意上文中提到的文件夹在从节点中是否都已经建立好(由于上面的例子数据文件夹在hadoop文件夹中,所以就不需要自己在从节点重新建立)
5. 运行Hadoop
(1)格式化数据节点
在各个节点上都要执行
hdfs namenode -format //由于上文已经配置了path,所以直接运行hdfs
(2)启动dfs
start-dfs.sh
用jps检查master是否存在以下进程
23194 SecondaryNameNode
23023 NameNode
用jps检查slave是否存在以下进程
18652 DataNode
(3)启动yarn
start-yarn.sh
用jps检查master是否新增了以下进程
23451 ResourceManager
用jps检查slave是否新增了以下进程
18910 NodeManager
(4)访问管理网页
地址一:http://你的masterIP地址:8088/
检查该地址是否可以正常访问,并且Nodes标签中是否可以看到2个slave节点
地址二:http://你的masterIP地址:50070/
剩余56页未读,继续阅读
资源评论
天涯学馆
- 粉丝: 2629
- 资源: 436
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功