CDH 5.5.0 - 安装文档(Hadoop详细版)

本文介绍 CDH 安装，安装版本以当前最新版 CDH 5.5.0 为例。 CDH 提供了自动在线安装，手动离线安装的方式，本文介绍的安装方式为完全离线 安装。是同时适用于测试环境、生产环境的安装方式，对应官方安装文档章节为: Installation Path C - Manual Installation Using Cloudera Manager Tarballs ### CDH 5.5.0 - 安装文档(Hadoop详细版) #### 一、安装介绍 本文档旨在提供一套完整的离线安装指南，帮助用户在无互联网连接的环境中安装Cloudera Distribution Including Apache Hadoop (CDH) 5.5.0。此版本的CDH集合了Hadoop生态系统中的众多组件和服务，适用于搭建高性能的大数据处理平台。 #### 二、下载所需安装文件 离线安装CDH 5.5.0之前，首先需要准备一系列必要的软件包和工具，包括但不限于： 1. **Python 2.7.11**：这是CDH安装过程中所必需的Python版本。可以从[Python官网](https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz)下载源码包，并自行编译安装。 2. **JDK 7 Update 80**：Java是运行Hadoop和CDH的基础，因此确保安装正确的JDK版本至关重要。可以从[Oracle官网](http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64.rpm)下载对应的RPM包进行安装。 3. **MySQL 5.6.29**：MySQL将被用作Cloudera Manager数据库，确保其版本与CDH兼容。MySQL的RPM包可以从[MySQL官方网站](http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.29-1.el6.x86_64.rpm)获取。 4. **Cloudera Manager 5.5.0**：Cloudera Manager是管理CDH集群的重要工具。下载Cloudera Manager的tarball包：[cloudera-manager-el6-cm5.5.0_x86_64.tar.gz](http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.5.0_x86_64.tar.gz)。 5. **CDH 5.5.0 Parcel**：Parcel是CDH中软件包的一种打包形式，包含了所有必要的二进制文件和库。下载Parcel文件及其校验文件：[CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel](https://archive.cloudera.com/cdh5/parcels/5.5.0/CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel)，[CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel.sha1](https://archive.cloudera.com/cdh5/parcels/5.5.0/CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel.sha1)以及manifest文件：[manifest.json](https://archive.cloudera.com/cdh5/parcels/5.5.0/manifest.json)。 6. **MySQL JDBC驱动**：为了与MySQL进行交互，需要下载并安装[JDBC驱动](http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar)。 此外，还需要准备一个安装系统的ISO包，以便在安装过程中解决任何缺失的依赖问题。 #### 三、确认主机安装环境 确保每台服务器符合以下条件： 1. **硬件要求**：检查每台服务器的硬件配置是否达到最低要求。 2. **操作系统版本**：使用`cat /etc/issue`命令检查系统版本，必须为Red Hat Enterprise Linux Server release 6.x。 3. **存储空间**：建议每台服务器具有相同的数据存储路径，并且有足够的可用空间来存放数据和日志。 #### 四、规划集群部署 为了保证集群稳定性和可靠性，CDH建议至少使用3台服务器进行部署。根据实际情况，规划好各节点的角色分配。 #### 五、修改主机名 1. 使用`hostname`命令动态更改主机名，例如：`hostname master`。 2. 修改`/etc/sysconfig/network`文件中的`HOSTNAME`项，确保更改永久生效。 #### 六、更改主机HOSTS映射文件 在每台服务器的`/etc/hosts`文件中添加所有集群服务器的IP地址及其主机名，以便后续的安装步骤可以通过主机名进行识别。 #### 七、检查主机服务 1. **防火墙服务**：使用`service iptables stop`和`chkconfig iptables off`命令关闭防火墙服务。 2. **SELinux**：若SELinux处于启用状态，则需要将其禁用。修改`/etc/sysconfig/selinux`文件，将`SELINUX=enforcing`更改为`SELINUX=disabled`。 #### 八、检查主机NTP服务配置 1. 确认NTP服务是否已经启动并正常工作，使用`service ntpd status`和`ntpq -p`命令检查。 2. 如果NTP服务未启动或配置不正确，则需要增加时间服务器配置，并重启服务。 #### 九、检查主机参数配置 1. 设置`vm.swappiness`参数，以减少磁盘交换频率，提高性能。在`/etc/sysctl.conf`文件中添加`vm.swappiness=0`。 2. 配置`hugepage`相关参数，以支持内存密集型应用。这些参数的具体设置取决于具体的应用场景和硬件配置。 以上步骤为CDH 5.5.0离线安装的基础准备工作，确保每个步骤都按照指导完成，才能保证后续安装过程顺利进行。