REDHAT7.2 安装 CDH5.10 和 Kudu1.2

在本文中，我们将详细探讨在REDHAT7.2操作系统上安装Cloudera Distribution including Apache Hadoop（CDH）5.10版本以及Kudu1.2的过程。这个过程将分为几个关键步骤，从前期准备到集群的完整性检查，都包含在内。 前期准备工作至关重要。这包括配置主机名（hostname）及hosts文件，确保集群中各个节点能够通过静态IP地址互相通信。例如，使用命令“hostnamectl set-hostname ip-172-31-2-159”来设置主机名，同时也要编辑/etc/hosts文件，以确保IP地址和主机名能够对应。 接下来，禁用SELinux是另一个重要步骤。SELinux是RedHat系列操作系统中的一个安全模块，它会限制程序和进程的权限，以增强系统安全。但在这一步骤中，为了保证CDH集群的正常运行，需要在所有节点上通过执行命令“sudo setenforce 0”来临时禁用SELinux。此外，为了确保在重启系统后SELinux仍保持禁用状态，还需修改/etc/selinux/config文件，将SELINUX的值设置为disabled。 关闭防火墙同样是必须的步骤，这可以通过执行“sudo systemctl stop firewalld”命令来实现，并且为了确保防火墙在系统重启后不自动启动，还需要执行“sudo systemctl disable firewalld”。 集群时钟同步是为了保证集群中各节点的时间一致性。在REDHAT7.2系统上，默认安装了chrony服务，可以用来配置时钟同步。配置时，可以选择一台节点作为chrony服务器，其余节点与之同步。在chrony的配置文件中，通常只需要对集群中的其他节点添加服务器的IP地址即可实现同步。 配置操作系统repo，也就是软件仓库，是确保可以安装最新软件包的必要步骤。这可以通过添加软件仓库地址到/etc/yum.repos.d/目录下的某个.repo文件来完成。 安装http服务和MariaDB数据库服务也是前期准备工作的一部分。http服务确保集群中的节点可以通过http协议通信，而MariaDB数据库服务则是Cloudera Manager和一些Hadoop组件的依赖项。 安装Cloudera Manager是集群安装的下一步。Cloudera Manager是管理CDH集群的工具，它提供了一个图形界面来部署和监控集群。配置本地repo源是安装Cloudera Manager之前需要进行的步骤，以确保安装过程中所需的软件包可以被正确下载和安装。 安装CDH集群是在Cloudera Manager安装之后进行的，CDH集群安装向导将引导用户完成集群的安装过程。这个过程包括配置集群设置，添加集群服务，以及配置这些服务的特定参数。 Kudu安装需要在CDH集群安装完成之后进行。Kudu是一个为了快速分析和低延迟处理而设计的大规模数据存储。首先需要安装csd文件，这些文件是Cloudera特定的扩展，用于安装Kudu服务。随后，安装Kudu服务，并对Impala进行配置，以确保能够使用Kudu。 在集群安装完成后，进行快速组件服务验证是非常重要的。这包括HDFS、Hive、MapReduce、Impala、Spark以及Kudu服务的验证。验证的目的是确保各个组件按照预期运行，并且可以完成特定的任务，例如在HDFS上创建目录、上传文件、查看文件内容以及下载文件等。 总体来看，这篇文档提供了在REDHAT7.2操作系统上部署CDH企业版的详细步骤，这些步骤涵盖了前期准备、Cloudera Manager安装、CDH集群安装以及Kudu安装和验证等关键环节。通过遵循这些步骤，即使是新手用户也可以完成整个CDH集群的搭建和验证工作。