没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档
I
目 录
0 准备工作....................................................................................................................................... 1
0.1 前提条件 ............................................................................................................................ 1
0.2 Hadoop 分布式前期准备工作 .......................................................................................... 1
1 Centos 6.4 下安装 JAVA .............................................................................................................. 3
1.1 卸载自带 OPENJDK ........................................................................................................ 3
1.2 安装 SUN 的 JDK ............................................................................................................. 6
2 安装 SSH 并配置 SSH 无密码登陆 .......................................................................................... 11
2.1 Linux 下安装 SSH ........................................................................................................... 11
2.2 配置 SSH 无密码登陆 .................................................................................................... 13
2.2.1 每个节点产生公私密钥 ....................................................................................... 13
2.2.2 单机回环 ssh 无密码登陆测试 ............................................................................ 14
2.2.3 让主节点能通过 ssh 无密码登陆各个子节点 .................................................... 15
3 安装 Hadoop .............................................................................................................................. 17
3.1 下载并解压 ...................................................................................................................... 17
3.2 编译 Hadoop ................................................................................................................... 17
3.2.1 安装基本应用程序(此步骤要求联公网) ....................................................... 18
3.2.2 安装 maven ........................................................................................................... 18
3.2.3 安装 protobuf(不安装,编译将无法完全) .................................................... 19
3.2.4 编译 Hadoop-2.2.0 ................................................................................................ 19
3.2.5 Master 上操作 ........................................................................................................ 21
Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档
II
3.3 配置 Hadoop 的环境变量 .............................................................................................. 22
3.4 修改 Hadoop 的配置文件 .............................................................................................. 23
3.4.1 修改 hadoop-env.sh 文件 ...................................................................................... 23
3.4.2 修改 yarn-env.sh 文件 .......................................................................................... 23
3.4.3 修改 core-site.xml ................................................................................................. 23
3.4.4 修改 hdfs-site.xml ................................................................................................. 24
3.4.5 修改 yarn-site.xml................................................................................................. 25
3.4.6 修改 mapred-site.xml ............................................................................................ 27
3.4.7 修改 slaves 文件 ................................................................................................... 28
3.5 复制 hadoop-2.2.0 文件夹到另外的三个节点下 .......................................................... 28
3.6 启动 Hadoop ................................................................................................................... 28
4 测试运行..................................................................................................................................... 29
5 问题 ............................................................................................................................................ 30
5.1 程序版本问题 .................................................................................................................. 30
5.2 Hadoop 2.2.0 遇到 NativeLibraries 错误的解决过程 .................................................. 36
Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档
1
Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群平台
0 准备工作
0.1 前提条件
(1) 在每台 Linux 电脑上安装 JDK6 或其以上版本,并设置好 JAVA_HOME 等,测试一下
java、javac、jps 等命令是否可以在终端使用;
(2) 在每台 Linux 电脑上安装好 SSH,并配置 SSH 无密码登陆;
0.2 Hadoop 分布式前期准备工作
(1) 安装 VM WorkStation 软件
(2) 在虚拟机上安装 centos 6.4 操作系统,使用默认的 root 用户
(3) 准备 4 个虚拟机节点,并重命名主机名
其实这一步骤非常简单,如果你已经完成了第 2 步,此时你已经准备好了第一个虚拟节
点,那第二个和第三个虚拟机节点如何准备?可能你已经想明白了,你可以按第 2 步的方
法,再分别安装三遍 Linux 系统,就分别实现了第二、三、四个虚拟机节点。不过这个过程
估计会让你很崩溃,其实还有一个更简单的方法,就是复制和粘贴,没错,就是在你刚安装
好的第一个虚拟机节点,将整个系统目录进行复制,形成后面的三个虚拟机节点。
很多人也许会问,这四个结点有什么用,原理很简单,按照 Hadoop 集群的基本要求,
其中一个是 master 结点,主要是用于运行 Hadoop 程序中的 namenode、secondorynamenode
和 jobtracker 任务。用外三个结点均为 slave 结点,其中一个是用于冗余目的,如果没有冗
余,就不能称之为 Hadoop 了,所以模拟 Hadoop 集群至少要有 3 个结点,如果电脑配置非
常高,可以考虑增加一些其它的结点。slave 结点主要将运行 Hadoop 程序中的 datanode 和
tasktracker 任务。
Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档
2
所以,在准备好这 4 个结点之后,需要分别将 linux 系统的主机名重命名(因为前面是
复制和粘帖操作产生另两上结点,此时这 3 个结点的主机名是一样的),重命名主机名的方
法:
【此步骤所有节点都要操作】
vim /etc/sysconfig/network
将里面的 HOSTNAME 修改为你想要的 hostname,我这里是取 master
查看设置是否生效,运行下面命令
hostname
(4) 静态 IP 地址设置步骤如下(如果不设置静态可以用自动分配的 IP)
【此步骤所有节点都要操作】
里面的 IPADDR 地址设置你想要的,我这里是 192.168.142.139。
设置好后,需要让 IP 地址生效,运行下面命令:
然后运行 ifconfig 检验一下设置是否生效:
Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档
3
至此,说明已经设置成功了。
(5) 在以上四台电脑的/etc/hosts 添加以下配置
【此步骤所有节点都要操作】
vim /etc/hosts
其实就是上面三台电脑的静态 IP 地址和其 hostname 的对应关系。检验是否修改生效,可以
用 ping 来查看:
如在 master 节点上 ping slave01
如上面的命令可以 ping 通,说明设置生效了。
1 Centos 6.4 下安装 JAVA
【此步骤所有节点都要操作】
一般情况下,我们需要将自带的 OPENJDK 卸载掉,然后安装 SUN 的 JDK。
1.1 卸载自带 OPENJDK
剩余40页未读,继续阅读
资源评论
Jenny_Anan
- 粉丝: 35
- 资源: 53
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功