CentOS下Hadoop-0.20.2集群配置文档.docx
版权申诉
77 浏览量
2023-09-18
20:27:55
上传
评论
收藏 34KB DOCX 举报
一、集群网络环境介绍
二、SSH无密码验证配置
CentOS下Hadoop-0.20.2集群配置文档
集群包含三个节点
：1个na
menod
e，2个d
atan
ode，
节点之间局域网连接
，
可以相互
ping
通
。
节点
IP
地址分布如下
：
Namenode: zhangpeng@192.168.90.91
Datanode1: zhangruixue@192.168.90.94
Datanode2: guanxiansun@192.168.90.205
三台节点上均是CentOS系统，
并且有一个相同的用户hadoop(具有管理员权限),在/home/hadoop/目录下均有一个hadoopin
stall目录，用于存放hadoop-0.20.2安装文件，
目录结构是/home/hadoop/hadoopinstall/hadoop-0.20.2。
在/etc/hosts上添加主机名和相应的IP地址：
192.168.90.129
zhangpeng
192.168.90.94
zhangruixue
192.168.90.205
guanxiansun
Hadoop需要使用SSH协议，namenode使用SSH无密码登录并启动datanode进程，同样原
理，datanode上也能使用SSH无密码登录到namenode（这样也能在datanode上进行启动或关
闭hadoop）。
1、
安装和启动SSH协议
所有机器上安装SSH协议并启动服务，在所有机器上执行以下命令:
命令执行完毕，各台机器之间可以通过密码验证相互登陆。
2、配置Namenode无密码登录所有Datanode
（1）
原理
Namenode作为客户端，要实现无密码公钥认证，连接到服务端datanode上时，需要在
namenode上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到datanode上。当
namenode通过ssh连接datanode时，datanode就会生成一个随机数并用namenode的公钥对随
机数进行加密，并发送给namenode。namenode收到加密数之后再用私钥进行解密，并将解密
数回传给datanode，datanode确认解密数无误之后就允许namenode进行连接了。这就是一个
公钥认证过程，
其间不需要用户手工输入密码。重要过程是将客户端namenode公钥复制到datanode上。
（2）
Namenod机器上生成密码对
在Namenode节点上执行以下命令:
$ sudo yum install ssh 安装SSH协议
$ sudo yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同
步多台主机间的文件）
$ ssh
sudo /etc/init.d/ssh restart
启动服务
hadoop@zhangpeng:~$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
默认路径
Enter passphrase (empty for no passphrase):
回车，空密码
Enter same passphrase again:
Your identification has been saved in /home/zkl/.ssh/id_rsa.
资源评论
