没有合适的资源?快使用搜索试试~ 我知道了~
hadoop集群部署,配置详细介绍。hadoop,hadoop,hadoop
资源详情
资源评论
资源推荐
1 hadoop0.20.2 平台配置(完全分布式模
式)
修改人 修改时间 修改内容
钱冠群
2012-06-15
创建文档
卢学渊
2012-07-19
修改文档
卢玉凤
2012-10-10
修改文档
配置环境及有关工具:RHEL 5、
Hadoop1.0.2: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.0.2/hadoop-
1.0.2.tar.gz
jdk1.6.0_29:http://download.oracle.com/otn-pub/java/jdk/6u29-b11/jdk-6u29-linux-x64-
rpm.bin
我们使用 5 台机器:
1) 1 台当作 namenode/jobtracker/secondarynamenode(网络名 master17)
2) 4 台当作 datanode/tasktracker(网络名 slave13~slave16)
机器类型 网络名
IP
主机名 在 Hadoop 中的职责
Master master17 10.6.34.17
不能包含下划线
NameNode
Slave slave13 10.6.34.13
不能包含下划线
DataNode
Slave slave14 10.6.34.14
不能包含下划线
DataNode
Slave slave15 10.6.34.15
不能包含下划线
DataNode
Slave slave16 10.6.34.16
不能包含下划线
DataNode
注意:这里的主机名不能包含下划线“_”和“.s”(在 linux 下输入’hostname’ 命令查看)。主
机名的修改方法参见附录。
注意:集群里使用 Hadoop 的登陆用户名和密码都要必须保持一致。我们在这里创建了名
为 hadoop 的用户,后面的步骤就是在这个 hadoop 用户下进行的。主机名和网络名建议相
同
1.1 配置步骤
1.1.1 添加主机名到 hosts
1) 修改每台机器上/etc 下面的 hosts 文件,追加集群中所有机器的机器网络名和对
应的 IP 地址(包括 namenode 和 datanode 节点),我们追加的内容如下:
1. 10.6.34.13 LDJ-5U364-3413 slave13
2. 10.6.34.14 LDJ-5U364-34-14 slave14
3. 10.6.34.15 H5U364LDJ3415 slave15
4. 10.6.34.16 LDJ-5U364-3416 slave16
5. 10.6.34.17 LDJ-5U364-34-17 master17
1.1.2 SSH 配置
默认情况下,研发内网的 ssh 都已经安装。
1) 配置的目的是为了实现集群内部的机器间执行指令时不再需要输入密码。在所有
的机器上建立.ssh 目录,这里我们建立在/home/hadoop 下面。(如果文件夹已
经存在,跳过这一步)
6. mkdir .ssh
2) 在每个机器上生成密钥对,执行:
1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
命令执行完成后,会在.ssh/id_dsa 下生成密钥对 id_dsa 和 id_dsa.pub 两个文件。
3) 在每个机器上执行:
1. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
把自己的公钥添加到认证列表中。
4) 在每个机器上执行:
1. chmod 500 .ssh
2. chmod 600 .ssh/authorized_keys
把.ssh 目录的权限设为 500,authroized_keys 文件的权限设为 600。
执行完成后,使用 ssh localhost 命令验证是否可以不用密码就直接连接到本机。
如果可以说明以上操作正确。
5) 继续执行如下命令,把密钥传递给每个 datanode 节点:
1. scp authorized_keys slave13:/home/hadoop/.ssh/master17
2. scp authorized_keys slave14:/home/hadoop/.ssh/master17
3. scp authorized_keys slave15:/home/hadoop/.ssh/master17
4. scp authorized_keys slave16:/home/hadoop/.ssh/master17
这里 master17 是 master 机器的公钥在 slave 机器上的名称,可以任意。
6) 在所有的 slave 机器 datanode 节点上执行:
1. cat master17 >> ~/.ssh/authorized_keys
把 master17 的公钥添加到认证列表中。
7) 到此,从 namenode 发起的到其他 datanode 节点的 SSH 连接,就会只需在第一
次登录是输入密码,以后则不再需要。具体验证方法如下:
1. ssh slave13 (slave13 是 datanode 的网络别名)
【备注】 HADOOP 需要做服务器之间的交叉 SSH 登陆信任,用追加密钥到
authorized_keys 文件的方法比较繁琐,这些步骤可以用以下命令来替代
1. ssh-copy-id -i xxxx@xxx.xxx.xxx.xxx
1.1.3 jdk 的安装
namenode 机和 datanode 机均按此安装
剩余11页未读,继续阅读
小鱼_123
- 粉丝: 1
- 资源: 4
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0