### Centos7部署CDH6.3.2集群的知识点详解
#### 一、概述
在当前的大数据处理环境中，Apache Hadoop及其生态系统是构建大数据平台的重要基础之一。Cloudera Distribution Including Apache Hadoop (CDH) 是由 Cloudera 公司提供的一款集成了 Hadoop 生态系统组件的产品，其提供了更为稳定且易于管理的大数据解决方案。本文档将详细介绍如何在CentOS 7.9环境下部署CDH 6.3.2集群的过程。
#### 二、环境准备
##### 1. 硬件配置
部署CDH 6.3.2集群首先需要准备好相应的硬件资源，包括但不限于：
- **Manager节点**：用于管理和监控整个集群的状态。
- **Master节点**：负责运行Hadoop生态系统中的核心服务，如NameNode、ResourceManager等。
- **Worker节点**（如果有的话）：负责运行任务执行器TaskTracker等服务。
文档中给出的具体硬件配置如下：
| IP地址 | 主机名 | 角色 | 虚拟机名称 | 所在物理服务器 |
|---------------|----------|------------|--------------|----------------|
| 192.168.100.162 | manager01 | Manager | manager01 | app-stage1 |
| 192.168.100.39 | master01 | Master | cdh-stage1 | N/A |
| 192.168.100.40 | master02 | Master | cdh-stage2 | N/A |
| 192.168.100.41 | master03 | Master | cdh-stage3 | N/A |
其中，Manager节点和Master节点分别部署在不同的物理服务器上，这种分布式的架构有利于提高系统的可用性和扩展性。
##### 2. 软件包下载
为了确保部署过程顺利进行，需要提前下载并准备好所需的软件包。这些软件包包括：
- **CM 6.3.1**：Cloudera Manager 的版本。
- **CDH 6.3.2 Parcel**：包含 Hadoop 生态系统组件的软件包。
- **MySQL JDBC jar**：用于连接 MySQL 数据库的 Java 驱动程序。
- **ext-2.2.zip**：用于解决 Oozie Web UI 报错问题的额外文件。
此外，还需要新增一个 YUM 配置文件 `/etc/yum.repos.d/cdh.repo`，用以指定软件包的来源。配置文件内容如下：
```ini
[cdh_mingyang]
name=Mingyyang Internal CDH repo
baseurl=http://software.mingyang100.com/07-%E5%BC%80%E5%8F%91%E5%B7%A5%E5%85%B7/CDH/yum/
gpgcheck=0
[mysql_tsinghua]
name=Tsinghua Mysql repo
baseurl=https://mirror.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-x86_64/
gpgcheck=0
```
#### 三、环境初始化
部署前的环境初始化工作非常重要，它直接关系到后续部署的成功与否。
##### 1. 安装基本工具
- **修改YUM源为清华镜像源**：通过编辑 YUM 配置文件 `/etc/yum.repos.d/CentOS-*.repo` 来修改 YUM 源为清华镜像源，确保软件包能够快速下载。
- **修复网卡配置错误**：确保网络配置正确无误，可以通过修改 `/etc/sysconfig/network-scripts/ifcfg-eno1` 和 `/etc/sysconfig/network-scripts/ifcfg-eno2` 文件来实现。
- **安装必备工具**：使用 `yum install -y` 命令安装必要的工具包，例如 `unzip`, `zip`, `vim`, `net-tools`, `wget`, `lrzsz`, `epel-release`, `nmap`, `screen`, `htop`, `nfs-utils`, `rpcbind`, `nload`, `iotop` 等。
##### 2. 关闭防火墙及SELinux
为了确保集群内的通信顺畅，需要在所有节点上永久关闭防火墙及 SELinux。具体操作包括：
- 使用 `systemctl disable firewalld --now` 命令关闭防火墙。
- 编辑 `/etc/selinux/config` 文件，将 `SELINUX=enforcing` 修改为 `SELINUX=disabled` 并执行 `setenforce 0` 命令以立即生效。
##### 3. 修改主机名
确保每个节点都有唯一的主机名，这有助于更好地识别和管理各个节点。可以通过编辑 `/etc/hostname` 文件来实现。
##### 4. 配置 hosts 文件
更新 `/etc/hosts` 文件以添加各节点的 IP 地址和主机名映射，便于节点间通过主机名进行通信。
##### 5. 配置免密登录
- **生成公钥与私钥**：在每台节点上使用 `ssh-keygen -t rsa` 命令生成 SSH 密钥对。
- **拷贝公钥到同一台节点**：使用 `ssh-copy-id` 命令将公钥拷贝到 Manager 节点。
- **复制认证到其他服务器**：将 Manager 节点的公钥拷贝到其他 Master 节点，以便实现节点间的免密登录。
以上步骤确保了集群内节点之间的无障碍通信，为后续的部署打下了坚实的基础。
