cdh安装手册

### CDH离线安装知识点详解 #### 一、CDH离线安装概述 **Cloudera Enterprise 5.x** 的安装主要包括以下几个关键步骤： 1. **集群服务器配置**：涉及安装操作系统、关闭防火墙、同步服务器时钟等基础设置。 2. **外部数据库安装**：用于存储Cloudera Manager的相关数据。 3. **安装Cloudera管理器**：作为集群的管理和监控中心。 4. **安装CDH集群**：核心部分，涉及HBase、Spark等组件的安装。 5. **集群完整性检查**：确保HDFS文件系统、MapReduce、Hive等功能正常运行。 #### 二、前提条件 文档基于以下假设进行讲解： - 操作系统版本：CentOS 6/RHEL 6 或 SUSE 11 SP2 - Cloudera Manager 版本：CM 5.x - CDH版本：CDH 5.x - 使用root用户进行部署 - 已下载CDH和Cloudera Manager的安装包 - 集群中无其他Hadoop版本残留 #### 三、服务器配置详解 ##### 1. 安装操作系统 - **推荐使用RAID1**：提高操作系统的稳定性和数据安全性。 - **创建OS的repository**：便于无法联网的情况下的软件包安装。 ##### 2. IP地址配置 - **静态配置**：适用于固定网络环境，需要正确配置各节点的IP地址及hostname信息。 - **动态配置**：需要安装DHCP和DNS服务器。 示例配置： - `/etc/sysconfig/network-scripts/ifcfg-eth0` 文件配置样例： ``` DEVICE=eth0 ONBOOT=yes BOOTPROTO=static IPADDR=172.31.46.113 NETMASK=255.255.240.0 ``` - `/etc/hosts` 文件配置样例： ``` 172.31.46.113 <CM_HOST> 172.31.46.110 <NODE1> 172.31.46.111 <NODE2> ``` ##### 3. Kerberos认证功能配置 - 如果需要启用Kerberos认证，需配置集群的DNS域名，例如： - `/etc/sysconfig/network`： ``` NETWORKING=yes HOSTNAME=sb-node1.example.com ``` - `/etc/hosts`： ``` 192.168.0.21 sb-node1.example.com sb-node1 192.168.0.22 sb-node2.example.com sb-node2 ``` ##### 4. 关闭防火墙 - CentOS/RHEL： ``` $> service iptables stop $> chkconfig iptables off ``` - SUSE 11 SP2： ``` $> sh/sbin/rcSuSEfirewall2 stop $> chkconfig SuSEfirewall2_setup off ``` ##### 5. 关闭SELinux - CentOS/RHEL： ``` $> echo "SELINUX=disabled" > /etc/sysconfig/selinux ``` - SUSE 11 SP2： ``` $> service boot.apparmor stop $> chkconfig boot.apparmor off ``` ##### 6. 初始化网络 - ``` $> /etc/init.d/network restart ``` ##### 7. 启用nscd - ``` $> yum install –y nscd $> service nscd start $> chkconfig nscd on ``` ##### 8. 修改transparent_hugepage参数 - RHEL/CentOS： ``` # 在/etc/rc.local中增加一行： $> echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag ``` - SUSE 11 SP2： ``` # 在/etc/init.d/after.local中增加一行： if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi ``` ##### 9. 禁止交换(可选) - 如果内存足够大，可以考虑禁用交换分区来提升性能。 以上是针对CDH离线安装中的服务器配置环节的具体步骤和注意事项，为后续的Cloudera Manager和CDH集群的安装打下坚实的基础。