在linux环境安装hadoop集群
需积分: 5 191 浏览量
2022-03-16
15:12:11
上传
评论
收藏 51KB PDF 举报
06安装Hadoop集群
一、概述
1、集群机器列表
10.158.90.57
10.158.90.58
10.158.90.59
选择将10.158.90.57作为master，10.158.90.57、10.158.90.58和10.158.90.59作为slave，注意10.158.90.57即作为管理节点也作为数据
节点
2、Hadoop版本
hadoop-2.7.1.tar.gz
二、安装步骤
1、创建用户(3台机器都要进行)
#1.1、创建用户组
groupadd hadoop
#1.2、创建用户并加入hadoop用户组
adduser -g hadoop hadoop #第一个hadoop是用户组
#1.3、修改密码
passwd hadoop #按照提示输入密码和确认密码
2、配置主机名
#2.1、编辑/etc/hosts配置文件
vi /etc/hosts
#2.2、在文件最后添加下列3行，保存
10.158.90.57 store01
10.158.90.58 store02
10.158.90.59 store03
#注意，主机名不要包含"."、“/”、"_"，否则启动hadoop无法识别
#2.3、设置当前主机的主机名
hostnamectl set-hostname store01
#2.4、查看验证
set -
#当前用户信息变成root@store01即成功
#2.5、设置另外2台数据节点的主机名
#2.5.1、复制/etc/hosts文件到10.158.90.58
scp /etc/hosts root@10.158.90.58:/etc/hosts
#2.5.2、远程登录10.158.90.58
ssh 10.158.90.58
#按照提示输入密码，成功后可通过ip addr命令查看当前登录机器的ip
#2.5.3、设置主机名
hostnamectl set-hostname store02
#2.5.4、退出远程登录
exit
#2.5.5、设置10.158.90.58主机名，同操作2.5.1~2.5.4，修改远程服务器地址即可
3、建立ssh信任
#3.1、切换hadoop用户
su hadoop
#3.2、创建ssh密钥
ssh-keygen
#根据提示，会依次确认密钥存放文件以及访问密钥的私钥，可根据各自情况设定，这里选择默认和空密码，即一路回车即可
#3.3、复制密钥到数据节点
ssh-copy-id hadoop@store01
ssh-copy-id hadoop@store02
ssh-copy-id hadoop@store03
#3.4、测试
ssh store02
资源评论
