### Hadoop2.7 HBase1.1.3 高可用集群安装与部署知识点解析
#### 一、部署前准备
- **操作系统**: CentOS 6.5_x64
- **安装目录**: /opt
#### 二、节点分配
根据文档提供的节点分配表,我们可以了解到以下信息:
| HostName | IP地址 | 角色 |
|----------|---------------|---------------------|
| Master01 | 172.16.3.160 | NameNode, HMaster |
| Master02 | 172.16.3.17 | NameNode, HMaster |
| Slave01 | 172.16.3.161 | DataNode, HRegionServer |
| ... | ... | ... |
| Zookeeper1 | 172.16.3.158 | QuorumPeerMain |
| Zookeeper2 | 172.16.3.159 | QuorumPeerMain |
| Zookeeper3 | 172.16.3.16 | QuorumPeerMain |
- **Master01 和 Master02**: 担任 NameNode 和 HMaster 的角色,意味着它们将负责管理和控制整个 Hadoop 和 HBase 的集群。
- **Slave 节点**: 担任 DataNode 和 HRegionServer 的角色,用于存储数据并处理来自客户端的数据请求。
- **Zookeeper 节点**: 用于协调服务,尤其是在 Hadoop 的高可用性配置中起到关键作用。
#### 三、版本及功能
- **Hadoop**: 2.7.2
- **HBase**: 1.1.3
- **Zookeeper**: 3.4.6
- **JDK**: 8u73
这些版本的选择是为了确保系统的稳定性和兼容性。
#### 四、逻辑结构图
**NameNode (NN) HA 实现方式**:
文档提到了三种实现 NN 高可用的方式,但最终选择了基于 QJM (Quorum Journal Manager) 的共享日志方案,具体步骤如下:
1. **Active NN** 将日志写入本地以及多个 JournalNode 上。
2. **Standby NN** 定期从 JournalNode 读取 editlog 到本地。
3. 基于 Zookeeper 的 ZKFC (Zookeeper Failover Controller) 自动切换机制,当 Active NN 故障时,Standby NN 会自动接管并成为新的 Active NN。
**ResourceManager (RM) HA 实现方式**:
1. RM 将状态信息存储在 Zookeeper 中。
2. 当 Active RM 故障,Standby RM 会接管并从 Zookeeper 读取相应作业信息,重建作业的内存信息。
3. Standby RM 开始接受 NodeManager 心跳,并接受客户端提交作业的请求等。
#### 五、搭建高可用 Hadoop 集群
**1. 基础环境配置**:
- **安装 JDK**: 设置 `JAVA_HOME` 环境变量。
- **配置 etc/profile**: 添加必要的环境变量,如 `JAVA_HOME`, `ZOO_HOME`, 并设置 `PATH` 和 `CLASSPATH`。
**2. Zookeeper 集群安装与配置**:
- **配置 zoo.cfg**: 包括 tickTime、initLimit、syncLimit、dataDir、clientPort 等参数。
- **创建目录和 id 文件**: 在 `/opt/data/zookeeper` 目录下创建 `myid` 文件,并写入对应的 id。
**3. Hadoop 安装与配置**:
- 修改 `/etc/profile` 文件,配置 Hadoop 相关环境变量。
通过以上步骤,可以完成一个基于 Hadoop 2.7 和 HBase 1.1.3 的高可用集群的安装与配置。这种方式不仅能够提高系统的可靠性和稳定性,还能有效提升大数据处理的能力和效率。
