Ubuntu_10.04 下 Hadoop-0.20.2 集群配置手册
一、软硬件环境的准备
我先交待一下我自己的环境: 两台机器,每台机器上面两个虚机(vmware 均以桥接方式,也就是说 4 个虚
机都有各自独立的内网 IP)都是 ubuntu10.04,宿主机都是 windowsxp,用 SecureCRT(严重推荐,好使)
连接各个副机。最后按下文配置,成功运行~另:机器之间的文件用 SCP 命令吧,好使~~~
////////////////////////////////////////////////////////////////////////////////
集群包含三个节点:1 个 namenode,3 个 datanode,节点之间局域网连接,可以相互 ping 通。操作系
统 ubuntu 10.04 节点 IP 地址分布如下:
hadoop-namenode:
hadoop-datanode1:
hadoop-datanode2:
hadoop-datanode3:
修改/etc/hosts 文件如下:
192.168.7.132 hadoop-namenode
192.168.8.2 hadoop-datanode1
192.168.7.123 hadoop-datanode2
192.168.7.179 hadoop-datanode3
把 namenode 上面的 hosts 文件覆盖所有 datanode 上面的 hosts,是他们内容一致。
安装 JDK 环境:
下载 JDK 安装包 jdk-6u20-linux-i586.bin,进行安装,然后把安装目录移到/usr/lib/ jdk1.6.0_20,
然后 ln –s /usr/lib/jdk1.6.0_20/bin/java /usr/bin/java
在/etc/profile 下面设置 JDK_HOME 变量
export JDK_HOME=/usr/lib/jdk1.6.0_20
JDK 环境的操作需要在所有的 namenode 和 datanode 上面进行操作。
SSH 无密码验证配置
Hadoop 需要使用 SSH 协议,namenode 将使用 SSH 协议启动 namenode 和 datanode 进程,
(datanode 向 namenode 传递心跳信息可能也是使用 SSH 协议,这是我认为的,还没有做深入了解)。许
多教程上介绍 Hadoop 集群配置时只说明了 namenode 上 SSH 无密码登录所有 datanode,我在配置时