没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据HadoopHadoop 2.6 集群在CentOS 6 上的搭建指南

Hadoop 2.6 集群在CentOS 6 上的搭建指南

BigData

Hadoop

CentOS

需积分: 2 0 下载量 84 浏览量 2024-10-11 10:16:07 上传评论收藏 1.36MB PDF 举报

温馨提示

试读

57页

内容概要：该文档详细介绍了一步一步地在 CentOs 6 平台上编译安装配置 Hadoop 2.6 的详细步骤，涵盖从编译、安装到运行的全过程指导，并附有问题排查方法及简单例子演示流程。适合人群：从事大数据领域的IT工作者，尤其是负责运维和后台的大数据平台开发者和系统管理员。使用场景及目标：适用于构建基于 Hadoop 2.6 的企业级分布式文件系统及计算平台的需求分析、安装配置、测试验证等方面的工作任务。其他说明：文档不仅提供详细的配置步骤，还包括常见问题解决方案，非常适合初学者或新手在安装过程中解决问题。

资源推荐

资源详情

资源评论

《大数据学习之路》系列分享专栏

简介

分析大数据学习路上遇到的各种坑，为新学习大数据的人铺平道路

文章

CentOS 编译Hadoop 2.6 32位

CentOS 6 安装Hadoop 2.6 （二）配置Hadoop

CentOS 6 安装Hadoop 2.6 （三）问题收集

CentOS 6 安装Hadoop 2.6 （四）运行简单例子

CentOS下ZooKeeper单机模式、集群模式安装

CentOS下Storm 1.0.0集群安装详解

CentOS下Hive2.0.0单机模式安装详解

CentOS下Hive2.0.0集群模式安装详解

Kafka单机、集群模式安装详解(一)

Kafka单机、集群模式安装详解(二)

Kafka使用Java客户端进行访问

Hive体系结构（一）架构与基本组成

Hive体系结构（二）Hive的执行原理、与关系型数据库的比较

Hive体系结构（三）元数据库与基本操作

Hive体系结构（四）注意事项与扩展特性

HiveQL基本操作整理

15分钟了解Apache Phoenix(HBase的开源SQL引擎)

HDFS High Availability体系介绍(Using the Quorum Journal Manager)

Presto常用语句整理

Flume性能测试报告

CentOS 编译Hadoop 2.6 32位

本文采用CenOS 6 32位，JDK1.7进行编译。建议使用2G以上内存的电脑进行编译，不然有可能报内存不足。

（1）安装编译库

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

（2）安装maven

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

yum -y install apache-maven

（3）安装 protobuf（重要）

原google code官网已经迁移到github，请注意hadoop需要使用2.5.0进行编译，不然会出现编译错误。

wget "https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz"

tar xzvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

./configure

make

make install

protoc --version

出现以下提示则为安装成功

libprotoc 2.5.0

（4）下载并编译

wget "http://apache.opencas.org/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz"

tar xzvf hadoop-2.6.4-src.tar.gz

cd hadoop-2.6.4-src

mvn clean package -Pdist,native -DskipTests -Dtar

（5）编译完成

编译完成后将生成hadoop-2.6.4.tar.gz。

CentOS 6 安装Hadoop 2.6 （二）配置Hadoop

CentOS 6 安装Hadoop 2.6 （一）准备工作

CentOS 6 安装Hadoop 2.6 （二）配置Hadoop

CentOS 6 安装Hadoop 2.6 （三）问题收集

CentOS 6 安装Hadoop 2.6 （四）运行简单例子

下文服务器描述：一个主节点master，2个从节点slave1和slave2。

1. 解压文件

tar -xzvf hadoop-2.6.4.tar.gz

mv hadoop-2.6.4 /opt/

2. 配置环境变量

vi etc/profile

到末尾增加以下内容

HADOOP_HOME=/opt/hadoop-2.6.4

PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

更新文件：

source /etc/profile

在其他服务器上也执行类似操作。

3.修改配置

cd /opt/hadoop-2.6.4/etc/hadoop

(1) hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77

export HADOOP_PREFIX=/opt/hadoop-2.6.4

(2) yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77

(3) core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.6.4/tmp</value>

</property>

</configuration>

请先建立请先建立/opt/hadoop-2.6.4/tmp文件夹文件夹

(4) hdfs-site.xml

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<name>dfs.namenode.name.dir</name>

<value>/opt/hadoop-2.6.4/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>/opt/hadoop-2.6.4/dfs/data</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<name>dfs.replication</name>

</property>

</configuration>

请先建立请先建立/opt/hadoop-2.6.4/dfs/data与与/opt/hadoop-2.6.4/dfs/name文件夹文件夹

(5) mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

</configuration>

(6) yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8035</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

(7) slaves

slave1

slave2

将从节点的hostname写入这个文件

4. 拷贝到其他主机

每台服务器的每台服务器的Hadoop目录地址需要完全一致目录地址需要完全一致

将配置好的hadoop拷贝slave1和slave2：

scp -r /opt/hadoop-2.6.4 root@slave1:/opt/

scp -r /opt/hadoop-2.6.4 root@slave2:/opt/

请注意上文中提到的文件夹在从节点中是否都已经建立好（由于上面的例子数据文件夹在hadoop文件夹中，所以就不需要自己在从节点重新建立）

5. 运行Hadoop

（1）格式化数据节点

在各个节点上都要执行

hdfs namenode -format //由于上文已经配置了path，所以直接运行hdfs

（2）启动dfs

start-dfs.sh

用jps检查master是否存在以下进程

23194 SecondaryNameNode

23023 NameNode

用jps检查slave是否存在以下进程

18652 DataNode

（3）启动yarn

start-yarn.sh

用jps检查master是否新增了以下进程

23451 ResourceManager

用jps检查slave是否新增了以下进程

18910 NodeManager

（4）访问管理网页

地址一：http://你的masterIP地址:8088/

检查该地址是否可以正常访问，并且Nodes标签中是否可以看到2个slave节点

地址二：http://你的masterIP地址:50070/

剩余56页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

天涯学馆

粉丝: 2214
资源: 436

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Hadoop 2.6 集群在CentOS 6 上的搭建指南

Hadoop2.6集群环境搭建（HDFS HA+YARN）

Hadoop2.6集群环境搭建，原来4G内存也能任性一次

CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍

Linux环境Hadoop2.6+Hbase1.2集群安装部署

Centos7+hadoop2.6.0分布式集群搭建

Hadoop大数据计算平台搭建实践.pdf

Hadoop集群搭建

hadoop2.6.0的32位本地库

hadoop集群搭建

Ambari搭建Hadoop

安装部署Hadoop集群.pdf

Sparkonyarn集群搭建详细过程.pdf

Spark&Yarn手动安装指南

Centos6.5安装hdp.docx

Hadoop搭建及MR编程-实验报告

大数据环境集群环境搭建.docx

大数据环境集群环境搭建.pdf

spark 高可用安装文档

hadoop基于Linux7的安装配置图文详解

CentOS+Jdk+Jboss+dubbo+zookeeper集群配置教程

从零开始Hadoop安装和配置.docx

Ambari-2.6.2.2 + HDP-2.6.5 （Centos7和Redhat7版本）的网盘下载地址

MPI与Hadoop在K-means算法上的性能比较分析1

Ambari+HDP+HDP-UTILS.rar

Hadoop平台安装学习笔记一

Ambari+HDP+HDP-UTILS 下载地址大全

Hadoop3.1.2安装手册.pdf

HADOOP监控GANGLIA安装文档.docx

hadoop-3.3.4.tar.gz + winutils 安装环境

项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计

最新资源

项目源码：基于Hadoop+Spark招聘推荐可视化系统大数据项目计算机毕业设计