Centos7部署CDH6.3.2集群.doc

### Centos7部署CDH6.3.2集群的知识点详解 #### 一、概述 在当前的大数据处理环境中，Apache Hadoop及其生态系统是构建大数据平台的重要基础之一。Cloudera Distribution Including Apache Hadoop (CDH) 是由 Cloudera 公司提供的一款集成了 Hadoop 生态系统组件的产品，其提供了更为稳定且易于管理的大数据解决方案。本文档将详细介绍如何在CentOS 7.9环境下部署CDH 6.3.2集群的过程。 #### 二、环境准备 ##### 1. 硬件配置 部署CDH 6.3.2集群首先需要准备好相应的硬件资源，包括但不限于： - **Manager节点**：用于管理和监控整个集群的状态。 - **Master节点**：负责运行Hadoop生态系统中的核心服务，如NameNode、ResourceManager等。 - **Worker节点**（如果有的话）：负责运行任务执行器TaskTracker等服务。 文档中给出的具体硬件配置如下： | IP地址 | 主机名 | 角色 | 虚拟机名称 | 所在物理服务器 | |---------------|----------|------------|--------------|----------------| | 192.168.100.162 | manager01 | Manager | manager01 | app-stage1 | | 192.168.100.39 | master01 | Master | cdh-stage1 | N/A | | 192.168.100.40 | master02 | Master | cdh-stage2 | N/A | | 192.168.100.41 | master03 | Master | cdh-stage3 | N/A | 其中，Manager节点和Master节点分别部署在不同的物理服务器上，这种分布式的架构有利于提高系统的可用性和扩展性。 ##### 2. 软件包下载 为了确保部署过程顺利进行，需要提前下载并准备好所需的软件包。这些软件包包括： - **CM 6.3.1**：Cloudera Manager 的版本。 - **CDH 6.3.2 Parcel**：包含 Hadoop 生态系统组件的软件包。 - **MySQL JDBC jar**：用于连接 MySQL 数据库的 Java 驱动程序。 - **ext-2.2.zip**：用于解决 Oozie Web UI 报错问题的额外文件。 此外，还需要新增一个 YUM 配置文件 `/etc/yum.repos.d/cdh.repo`，用以指定软件包的来源。配置文件内容如下： ```ini [cdh_mingyang] name=Mingyyang Internal CDH repo baseurl=http://software.mingyang100.com/07-%E5%BC%80%E5%8F%91%E5%B7%A5%E5%85%B7/CDH/yum/ gpgcheck=0 [mysql_tsinghua] name=Tsinghua Mysql repo baseurl=https://mirror.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-x86_64/ gpgcheck=0 ``` #### 三、环境初始化 部署前的环境初始化工作非常重要，它直接关系到后续部署的成功与否。 ##### 1. 安装基本工具 - **修改YUM源为清华镜像源**：通过编辑 YUM 配置文件 `/etc/yum.repos.d/CentOS-*.repo` 来修改 YUM 源为清华镜像源，确保软件包能够快速下载。 - **修复网卡配置错误**：确保网络配置正确无误，可以通过修改 `/etc/sysconfig/network-scripts/ifcfg-eno1` 和 `/etc/sysconfig/network-scripts/ifcfg-eno2` 文件来实现。 - **安装必备工具**：使用 `yum install -y` 命令安装必要的工具包，例如 `unzip`, `zip`, `vim`, `net-tools`, `wget`, `lrzsz`, `epel-release`, `nmap`, `screen`, `htop`, `nfs-utils`, `rpcbind`, `nload`, `iotop` 等。 ##### 2. 关闭防火墙及SELinux 为了确保集群内的通信顺畅，需要在所有节点上永久关闭防火墙及 SELinux。具体操作包括： - 使用 `systemctl disable firewalld --now` 命令关闭防火墙。 - 编辑 `/etc/selinux/config` 文件，将 `SELINUX=enforcing` 修改为 `SELINUX=disabled` 并执行 `setenforce 0` 命令以立即生效。 ##### 3. 修改主机名 确保每个节点都有唯一的主机名，这有助于更好地识别和管理各个节点。可以通过编辑 `/etc/hostname` 文件来实现。 ##### 4. 配置 hosts 文件 更新 `/etc/hosts` 文件以添加各节点的 IP 地址和主机名映射，便于节点间通过主机名进行通信。 ##### 5. 配置免密登录 - **生成公钥与私钥**：在每台节点上使用 `ssh-keygen -t rsa` 命令生成 SSH 密钥对。 - **拷贝公钥到同一台节点**：使用 `ssh-copy-id` 命令将公钥拷贝到 Manager 节点。 - **复制认证到其他服务器**：将 Manager 节点的公钥拷贝到其他 Master 节点，以便实现节点间的免密登录。 以上步骤确保了集群内节点之间的无障碍通信，为后续的部署打下了坚实的基础。