手把手教你搭建 5 节点 Hadoop 分布式集群（HA）.pdf

大讲台 《大数据搭建葵花宝典》之手把手教你搭建 5 节点 Hadoop 分布式集群（HA）

大讲台 高端 IT 人才在线实训平台

手把手教你搭建 5 节点 Hadoop 分布式集群（HA）

1 目录

1.1 写在前面的话 ................................................................................................. 2

1.2 (一)HDFS 概述 ............................................................................................... 2

1.2.1 基础架构.............................................................................................. 2

1.2.2 HA 架构 ............................................................................................... 2

1.3 (二)YARN 概述 ............................................................................................... 3

1.4.4 目录规划.............................................................................................. 5

1.5 (四)集群安装前的环境检查 ............................................................................. 5

1.5.1 时钟同步.............................................................................................. 5

1.5.2 hosts 文件检查 .................................................................................... 6

1.5.3 禁用防火墙 .......................................................................................... 6

1.6 (五)配置 SSH 免密码通信 ............................................................................... 6

1.7 (六)脚本工具的使用 ........................................................................................ 7

1.8 (七)jdk 安装 .................................................................................................. 11

1.9 (八)Zookeeper 安装...................................................................................... 11

1.10 (九)hadoop 集群环境搭建............................................................................. 13

大讲台 《大数据搭建葵花宝典》之手把手教你搭建 5 节点 Hadoop 分布式集群（HA）

大讲台 高端 IT 人才在线实训平台

ResourceManager+HA，并使用 zookeeper 来管理 Hadoop 集群。

在开始讲解之前，先告诉大家一个小秘密，本文有对应的配套视频讲解哦，详情参考：

http://www.dajiangtai.com/course/27.do?origin=invite-register&code=a8EYNf

1.2 (一)HDFS 概述

1.2.1 基础架构

1、NameNode（Master）

改、删除、列表文件和目录等基本操作。

从上面的架构图可以看出，使用 Active NameNode，Standby NameNode 两个节点可以解

决单点问题，两个节点通过 JounalNode 共享状态，通过 ZKFC 选举 Active ，监控状态，

自动备份。

1、Active NameNode

接受 client 的 RPC 请求并处理，同时写自己的 Editlog 和共享存储上的 Editlog，接收

DataNode 的 Block report, block location updates 和 heartbeat。

大讲台 《大数据搭建葵花宝典》之手把手教你搭建 5 节点 Hadoop 分布式集群（HA）

大讲台 高端 IT 人才在线实训平台

步的。所以说 Standby 模式的 NameNode 是一个热备（Hot Standby NameNode），一旦

3、JounalNode

用于 Active NameNode ， Standby NameNode 同步数据，本身由一组 JounnalNode 节

点组成，该组节点奇数个。

4、ZKFC

监控 NameNode 进程，自动备份。

1.3 (二)YARN 概述

节点上的资源管理，启动 Container 运行 task 计算，上报资源、container 情况汇报给 RM

和任务处理情况汇报给 AM。

3、ApplicationMaster

单个 Application(Job)的 task 管理和调度，向 RM 进行资源的申请，向 NM 发出 launch

Container 指令，接收 NM 的 task 处理状态信息。

4、Web Application Proxy

用于防止 Yarn 遭受 Web 攻击，本身是 ResourceManager 的一部分，可通过配置独立进程。

ResourceManager Web 的访问基于守信用户，当 Application Master 运行于一个非受信用

ApplicationMaster 会把 jobhistory 信息写到 hdfs的 jobhistory 临时目录下, 并在结束的时候

大讲台 《大数据搭建葵花宝典》之手把手教你搭建 5 节点 Hadoop 分布式集群（HA）

大讲台 高端 IT 人才在线实训平台

服务, 用户可以通过网页或 RPC 方式获取作业的信息。

1.3.2 HA架构

ResourceManager HA 由一对 Active，Standby 结点构成，通过 RMStateStore 存储内部数

据和主要应用的数据及标记。目前支持的可替代的 RMStateStore 实现有：基于内存的

MemoryRMStateStore，基于文件系统的 FileSystemRMStateStore，及基于 zookeeper 的

ZKRMStateStore。 ResourceManager HA 的架构模式同 NameNode HA 的架构模式基本

大讲台 《大数据搭建葵花宝典》之手把手教你搭建 5 节点 Hadoop 分布式集群（HA）

大讲台 高端 IT 人才在线实训平台

Zookeeper 课程中我们已经讲解过，这里就不再赘叙。

1.4.2 软件规划

1.4.3 用户规划

每个节点的 hadoop 用户组和用户需要大家自己创建，单节点已经讲过，这里就不耽误大家

时间。

[root@djt11 Asia]# cp /usr/share/zoneinf o/Asia/Shanghai /etc/localtime