Hadoop集群搭建-完全分布式_头哥nav第3关:HDFS系统初体验资源-CSDN文库

hadoop集群搭建

106 浏览量 2021-01-07 04:42:45 上传评论 2 收藏 68KB PDF 举报

资源推荐

资源详情

资源评论

Hadoop集群搭建集群搭建-完全分布式完全分布式

本文通过12个步骤实现Hadoop集群的完全分布式搭建

刚刚入门，如有错误请指出

文章目录文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-

env.sh（hadoop运行环境相关脚本）core-site.xml（hadoop核心配置）hdfs-site.xml（分布式文件系统HDFS相关配

置）mapred-site.xml（MapReduce相关配置）yarn-site.xml（Yarn相关配置）slaves文件（里面写从节点所在的主机名，会

在这些主机上启动DataNode）关于配置文件7. 将Hadoop添加到环境变量8. 使用scp将配置文件发送给其他节点机器9. 格式化

NameNode10. 启动11. 查看集群UI12. 运行MapReduce程序

1. 服务器准备服务器准备

VMware Workstation Pro 15.5

三台 Centos 6.5 64bit

Apache Hadoop 2.6.0

3节点为例搭建，角色分配：节点为例搭建，角色分配：

节点节点角色分配角色分配

node-01 NameNode DataNode ResourceManager

node-02 DataNode NodeManager SecondaryNameNode

node-03 DataNode NodeManager

2. 网络环境准备网络环境准备

采用NAT方式联网，并设置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-eth0

# 修改这两个值

ONBOOT=yes

BOOTPROTO=static

# 添加三个值

# IP地址

IPADDR=192.168.56.139

# 网关

GATEWAY=192.168.56.2

# 子网掩码，默认255.255.255.0

NETMASK=255.255.255.0

3. 服务器系统设置服务器系统设置

创建一个一般用户（可选）

# 创建一个一般用户

useradd linux123

passwd linux123

# 并把这个用户加到sudoers

vim /etc/sudoers

slave ALL=(ALL) NOPASSWD:ALL

# 创建供这个用户操作的文件夹，并更改所有权

mkdir /opt/software /opt/module

chown linux123:linux123 /opt/software /opt/module

同步时间

手动同步集群各机器时间

data -s "2020-02-12 02:02:02"

网络同步时间

ntpdate ntp1.aliyun.com

设置主机名

注意：主机名不能有下划线！！！注意：主机名不能有下划线！！！

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=node-01

# 配置完成reboot后生效

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

内容反馈

weixin_38581777

粉丝: 4
资源: 917

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip