Hadoop3.0分布式集群搭建(HA)详细文档.docx

Hadoop3.0 分布式集群搭建(HA)详细文档



在搭建  分布式集群之前，我们需要先准备好  台主机，分别安装好  系统，并完成 

系统的网络配置和系统配置。*没有准备好的同学可以免费学习大讲台的  课程：

，已经准备好的同学可以接着往后学习。

 1.集群安装规划

  1.1 主机规划

这里我们选择  台主机搭建  高可用的分布式集群，虽然节点有点少，但是足以完成分布

  1.2软件规划

需要注意的是： 最低支持 !"，如果大家还在使用 !# 或者更低版本，请升级到

!"。

 1.3 用户规划

  1.4 数据目录规划

在搭建  集群之前，需要规划好所有的软件目录和数据存放目录，便于后期的管理与维护。

  2.集群安装前的环境检查

  2.1 时钟同步

所有节点的系统时间要与当前时间保持一致，否则集群运行会出现异常。时钟同步在  台机器上都

需要操作，这里以  节点为例。

%&-()*+-.,,

我们可以保持当前系统时间与 /0（网络时间协议）一致。

  2.2hosts 文件检查

为了便于集群的操作，所有节点的  文件需要配置静态  与  之间的对应关系。

  2.2hosts 文件检查

为了便于集群的操作，所有节点的  文件需要配置静态  与  之间的对应关系。

  2.3.配置 SSH 免密码通信

集群中各个节点间会通过*..访问，每次访问都输入密码是不切实际的，所以需要配置

各个节点间的*..是无密码登录的。

首先在各个节点上生成公钥，这里以  节点、 用户为例

%&'(63

%&'(6

%&(6,

%&'(6#

%&'(6:

将另外  个节点中的共钥 82 拷贝到  节点中的 *831 文件中。

'82;&<99'*831<

然后将  中的 *831 文件分发到其他  个节点上。

7*831&,!='

7*831&,!'

各个节点如果能通过  相互访问，且不需要输入密码，则代表  配置成功。