RHEL7.2-CDH5.12.1安装部署

在本文中，我们将深入探讨如何在RHEL7.2操作系统上离线安装CDH5.12.1，这是Cloudera Data Hub的一个版本，它包含了一套完整的Apache Hadoop生态系统组件。CDH提供了大数据处理、分析和存储的工具，包括HDFS、YARN、MapReduce、HBase、Hive等。为了成功地进行此安装，我们需要对Linux操作系统有一定的了解，并且能够解决过程中可能遇到的简单问题。 ### 系统环境与环境配置 1. **系统环境**：确保你使用的是RHEL7.2操作系统，因为这是本文档指定的操作系统版本。检查系统的硬件需求，如内存、CPU和磁盘空间，以满足CDH5.12.1的最低配置要求。 2. **环境配置**：在开始安装前，需要做一些基本的系统准备。 - **文件准备**：下载CDH5.12.1的安装包，包括CM（Cloudera Manager）和CDH组件，这些文件需要在所有节点上都能访问到。 - **HOST配置**：在所有节点上编辑`/etc/hosts`文件，添加所有节点的IP地址和主机名映射，确保网络通信正常。 - **关闭防火墙和SELinux**：由于安全策略可能会阻止某些服务的运行，因此在所有节点上关闭防火墙（`systemctl stop firewalld && systemctl disable firewalld`）和SELinux（在`/etc/selinux/config`中设置`SELINUX=disabled`，然后重启系统）。 - **SSH无密登陆**：配置所有节点间的SSH无密码登录，使用`ssh-keygen`生成公钥和私钥，并使用`ssh-copy-id`将公钥复制到其他节点。 - **配置本地YUM源**：因为是离线安装，所以需要创建一个本地YUM仓库来存放CDH的RPM包，通过`createrepo`命令生成元数据。 - **JDK安装**：CDH依赖Java开发工具包（JDK），在所有节点上安装JDK 7或8。可以下载JDK的RPM包，然后使用`yum localinstall`进行安装，并配置环境变量`JAVA_HOME`、`JRE_HOME`和`PATH`。 - **NTP时间同步**：保持集群中的所有节点时间同步至关重要，安装NTP服务（`yum install ntp`），配置NTP服务器，然后启动并启用NTP服务（`systemctl start ntpd && systemctl enable ntpd`）。 - **MySQL安装**：CM使用MySQL作为其数据库，因此需要在主节点上安装MySQL Server，配置用户和数据库，为CM初始化数据库。 ### CM安装 1. **主节点安装**：在主节点上安装Cloudera Manager Server，Cloudera Manager Agent和Cloudera Manager Database。这通常涉及到解压RPM包，使用`yum install`安装，以及执行初始化脚本来创建数据库和用户。 2. **其他节点安装**：在其他节点上只安装Cloudera Manager Agent和Cloudera Manager Daemons，它们负责与CM Server通信并管理CDH服务。 ### CDH服务安装 在CM Server上完成配置后，可以通过Web界面引导安装CDH组件，选择要安装的服务，如Hadoop、HBase、Hive等，并根据需求配置相关的服务参数。 ### 可能会遇到的问题 1. **CM数据库初始化脚本执行失败**：这可能是由于MySQL未正确配置，或者初始化脚本与MySQL版本不兼容。检查MySQL的连接设置，确保CM数据库用户有权限创建数据库，或者尝试升级初始化脚本以适应你的MySQL版本。 在整个过程中，你可能还会遇到网络、权限、依赖性等问题，解决这些问题需要熟悉Linux系统管理和故障排查。记住，每次安装调整或修改后都要验证服务的状态，确保一切正常运行。同时，查阅官方文档和社区资源可以帮助解决遇到的任何问题。