CDH集群部署.doc

CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G磁盘空间。 一、基础环境配置 1. 虚拟机操作系统安装：安装64位CentOS 6.5操作系统，使用界面引导安装，安装模式为最小模式，需要的组件后续进行安装。 2. 主机名称和IP地址配置：主机名称为cdh01，IP地址为10.0.72.7。 3. 克隆虚拟机：复制或者克隆两份，分别将虚拟机名称命名为cdh02和cdh03。 4. MAC地址修改：修改克隆机的MAC地址，以避免与原机器冲突。 5. 主机名配置：修改主机名为新的主机名，例如cdh01、cdh02、cdh03。 二、网络配置 1. 网卡配置：配置网卡的IP地址、子网掩码、网关等信息。 2. 主机hosts文件配置：在集群内所有主机的Host文件中添加配置。 3. SSH无密码登录：配置SSH无密码登录，实现集群内的免密码登录。 三、依赖组件安装 1. MySQL安装：安装MySQL数据库，以存储集群的元数据。 2. Java安装：安装Java 1.7.0，以满足Hadoop的需求。 3. Hadoop安装：安装CDH 5.9.0版本的Hadoop，包括Hadoop 2.6.0等组件。 四、集群规划 1. 主机角色规划：规划主机的角色，例如NameNode、DataNode、ResourceManager等。 2. IP地址规划：规划主机的IP地址，以便集群内的通信。 五、集群部署 1. Namenode安装：安装Namenode，作为集群的主节点。 2. Datanode安装：安装Datanode，作为集群的从节点。 3. ResourceManager安装：安装ResourceManager，作为集群的资源管理器。 六、集群测试 1. 集群启动：启动集群，检查集群的状态。 2. 集群测试：测试集群的功能，例如文件上传、下载等。 本文档描述了在虚拟机上的CDH集群部署方案，旨在为测试环境和实际环境部署提供指导。