规划Hadoop HA 集群
Hadoop HA 集群部署模式
什么是 HA ?
HA是High Availability的简写,即高可用，指当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。（简言之，有两台机器，一台工作，一台备用，当工作机挂了之后，备用机自动接替。）
Hadoop HA 集群部署模式
Hadoop HA 集群部署模式是最常见的生产环境上的安装部署方式。
Hadoop HA 包括：NameNode HA 和 ResourceManager HA。
DataNode和NodeManager本身就是被设计为高可用的，不用对它们进行特殊的高可用处理 。
Hadoop HA 集群模式配置方法
我们将在完全分布式集群的基础上完成HA集群的配置。
Hadoop HA 集群 - 服务器角色规划
Master
（IP：192.168.128.128）
Slave1
（IP：192.168.128.129）
Slave2
（IP：192.168.128.130）
NameNode（Active）
NameNode（Standby）
【Hadoop HA 集群部署详解】
在大数据领域，Hadoop HA（高可用性）是确保服务持续可用的关键技术，特别是在生产环境中。HA通过在出现故障时将工作负载自动转移到备份节点，来保证系统的稳定性。本文将深入探讨Hadoop HA集群的部署模式、主要组件及其配置方法。
1. **什么是HA？**
HA（High Availability）是一种系统设计策略，旨在减少服务中断时间。在Hadoop中，这意味着当主节点（如NameNode或ResourceManager）发生故障时，系统能够自动将职责切换到备份节点，从而保持服务的连续性。简而言之，HA集群通常包括一对工作和备用节点，当工作节点失效时，备用节点无缝接管。
2. **Hadoop HA集群部署模式**
Hadoop HA主要包括两个部分：NameNode HA和ResourceManager HA。NameNode负责管理HDFS的元数据，而ResourceManager则管理YARN的资源分配。DataNode和NodeManager设计时已考虑了高可用性，无需特别处理。典型的HA部署涉及至少两台NameNode（一个活跃，一个备用），多台JournalNode用于元数据同步，以及Zookeeper集群用于监控和故障切换。
3. **Hadoop HA集群配置方法**
在完全分布式集群基础上配置HA，我们需要规划服务器角色，例如：
- Master节点（192.168.128.128）：包含Active NameNode和Active ResourceManager。
- Slave1（192.168.128.129）和Slave2（192.168.128.130）：作为DataNode、NodeManager以及JournalNode和Zookeeper的节点。
HDFS HA架构图显示，Active NameNode通过JournalNode与Standby NameNode同步元数据，Zookeeper集群的ZKFC（Zookeeper Failover Controller）用于检测和执行NameNode之间的切换。
类似的，YARN HA使用相同的原理，通过Zookeeper存储ResourceManager的状态并实现自动故障转移。Active ResourceManager将信息写入共享存储，Standby ResourceManager读取共享存储以保持同步。ZKFailoverController确保在任何时候只有一个ResourceManager处于Active状态。
4. **Zookeeper集群**
Zookeeper是实现HA的关键组件，它是一个分布式协调服务，采用Paxos协议进行选举。Zookeeper集群中，每个Server存储一份数据副本，其中选举出一个Leader来处理更新操作，Follower只负责复制。Zookeeper的服务器数量通常是奇数，以确保在多数Server存活的情况下仍能正常运行。
5. **Hadoop HA部署所需软件包**
- CentOS 7操作系统：作为基础操作系统。
- JDK 8：Hadoop需要Java运行环境。
- Hadoop 2.8.5：具体版本可能因需求而异。
- Chrony：提供精确的时间同步，对分布式系统非常重要。
- Zookeeper：提供高可用性和故障切换支持。
总结来说，Hadoop HA集群部署涉及多个层面，包括硬件规划、软件配置、网络设置以及安全策略等。正确配置和管理这些组件，能确保Hadoop集群在面对单点故障时仍能提供稳定的服务，提高整体系统的可靠性。
