没有合适的资源？快使用搜索试试~ 我知道了~

文库首页服务器应用群集服务Hadoop2.4.1集群模式的安装与配置

Hadoop2.4.1集群模式的安装与配置

Hadoop2.4.1

需积分: 9 5 下载量 20 浏览量 2014-07-26 07:46:00 上传评论收藏 78KB DOCX 举报

温馨提示

试读

12页

Hadoop2.4.1集群环境的安装与配置。

资源推荐

资源详情

资源评论

Hadoop2.4.1 集群模式的安装与配置

本文详细记录 Hadoop 2.4.1 群安装配置的步骤，并运行演示一个简单的 job。基本目录结构如下：

 环境准备

 Hadoop 安装配置

 启动及演示

[一]、环境准备

本文所有集群节点的操作系统均为：CentOS 6.0 64 位，不管是实体机还是虚拟机都可以，在这

里统一叫做 “实例”吧，以 4 台主机实例作为集群配置的演示,具体的划分如下：

hostname IP

用途

Master.Hado

192.168.6.7

NameNode/

ResouceManager

Slave5.Hado

192.168.8.2

DataNode/NodeManager

Slave6.Hado

192.168.8.2

DataNode/NodeManager

Slave7.Hado

192.168.8.2

DataNode/NodeManager

ps：如果是虚拟机可以把环境配置好后，copy 多个实例即可，需要注意修改 hostname。

1、vi /etc/hosts +添加如下内容：

查看源代码

打印帮助

1 192.168.6.77 Master.Hadoop

2 192.168.8.205 Slave5.Hadoop

3 192.168.8.206 Slave6.Hadoop

4 192.168.8.207 Slave7.Hadoop

2、JDK

到 Java 的官网下载 jdk6 64 位的版本，安装最基础的安装即可，当然由于 CentOS6 自带了

OpenJDK，本文直接用 OpenJDK 来演示（ps: OpenJDK 的目录一般在/usr/lib/jvm/ 路径

下），该系统的 JAVA_HOME 配置如下：export JAVA_HOME =/usr/lib/jvm/java-

1.6.0-openjdk.x86_64

3、SSHD 服务

确保系统已经安装了 SSHD 相关服务，并启动（CentOS 默认已经安装好）。

4、创建用户

创建一个专用的账户：hadoop

查看源代码

打印帮助

1 $ useradd hadoop

5、配置 SSH 无密码登录

需要实现 Master 到所有的 Slave 以及所有 Slave 到 Master 的 SSH 无密码登录

有关 SSH 无密码登录的详细介绍可以参见：Linux(Centos)配置 OpenSSH 无密码登陆

6、配置时钟同步

查看源代码

打印帮助

1 $ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2 $ ntpdate us.pool.ntp.org

3 $ crontab -e

4 0-59/10 * * * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP

ps: 如果是实体机以上所有步骤需要在每个实例里都操作一遍；如果是虚拟机只需要一个实例中完

成，其他实例复制即可。

[二]、Hadoop 安装配置

1、下载源码编译本地库

由于官方的发布包中的本地库是 32 位的，不符合我们的要求，需要自己编译本地库，编译本地库

的过程可以参考：Hadoop 2.x build native library on Mac os x+，大同小异，编译完成后，替

换<HADOOP_HOME>/lib/native/ 下的文件即可，注意 lib 文件名。

ps:这步只需要做一次即可，因为集群中的 4 个实例的环境一样。

2、下载发布包

打开官方下载链接http://hadoop.apache.org/releases.html#Download+，选择 2.2.0 版本的

发布包下载后解压到指定路径下:

查看源代码

打印帮助

1 $ tar -zxf hadoop-2.2.0.tar.gz -C /usr/local/

2 $ cd /usr/local

3 $ ln -s hadoop-2.2.0 hadoop

那么本文中 HADOOP_HOME = /usr/local/hadoop/ .

3、配置 hadoop 用户的环境变量vi ~/.bash_profile+,添加如下内容：

查看源代码

打印帮助

1 # set java environment

2 export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk.x86_64

3 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

4 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

6 # Michael@micmiu.com

7 # Hadoop

8 export HADOOP_PREFIX="/usr/local/hadoop"

9 export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

10 export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

11 export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

12 export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}

13 export HADOOP_YARN_HOME=${HADOOP_PREFIX}

4、编辑 <HADOOP_HOME>/etc/hadoop/hadoop-env.sh

修改 JAVA_HOME 的配置：

查看源代码

打印帮助

1 export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk.x86_64

5、编辑 <HADOOP_HOME>/etc/hadoop/yarn-env.sh

修改 JAVA_HOME 的配置：

查看源代码

打印帮助

1 export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk.x86_64

6、编辑<HADOOP_HOME>/etc/hadoop/core-site.xml

在<con=guration>节点下添加或者更新下面的配置信息：

查看源代码

打印帮助

2 <property>

3 <name>fs.defaultFS</name>

4 <value>hdfs://Master.Hadoop:9000</value>

5 <description>The name of the default file system.</description>

6 </property>

7 <property>

8 <name>hadoop.tmp.dir</name>



剩余11页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

jialefu88

粉丝: 0
资源: 2

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Hadoop2.4.1集群模式的安装与配置

hadoop-bin-2.4.1

spatialhadoop 2.4.1

spatial-framework-for-hadoop:HadoopSpatial框架允许开发人员和数据科学家使用Hadoop数据处理系统进行空间数据分析

Hadoop2.4.1集群安装过程

Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程

Hadoop2.4、Hbase0.98、Hive集群安装配置手册

hadoop2.4.1集群搭建安装教程

hadoop2.4.1集群安装

hadoop2.4.1

hadoop2.4.1集群搭建.txt

Hadoop2.4.1集群环境搭建

hadoop2.4.1(linux和window)及安装配置教程.7z

hadoop2.4.1集群部署详细步骤

64位Hadoop2.4.1

hadoop2.4.1三台机器分布式安装

vagrant-hadoop-2.4.1-spark-1.0.1:Vagrant项目使用Hadoop v2.4.1和Spark v1.0.1启动集群虚拟机

Hadoop权威指南 第二版(中文版)

Hadoop权威指南（中文版）2015上传.rar

大数据hadoop集群部署-最详细的部署-2.8.5.pdf

大数据集群搭建.pdf

graphalytics-platforms-mapreducev2

hadoop大数据实战手册

Oozie安装教程

HDFSNameNode内存全景

nacos2.2.3软件包（win+linux）.zip

Zabbix6.0中文手册

本地部署开源大模型的完整教程LangChain + Streamlit+ Llama

postman免安装

【大灰狼远程管理软件 V9.8至尊版】

最新资源

Hadoop权威指南第二版(中文版)