Cenos6.5 vmware hadoop2.6.0 完全分式集群

根据给定的信息，本文将详细解释如何在CentOS 6.5 上通过 VMware 虚拟化环境构建 Hadoop 2.6.0 的完全分布式集群。这涉及到多个步骤，包括虚拟机的准备、网络配置、SSH 免密码登录设置以及 Hadoop 的安装与配置。 ### 一、虚拟机准备 为了构建一个简单的 Hadoop 分布式集群，我们需要准备两台虚拟机，它们分别扮演 Master 和 Slave 的角色。这两台虚拟机通过 VMware 创建并配置： - **Master** (192.168.190.141): 同时担任 NameNode 和 JobTracker。 - **Slave** (192.168.190.412): 担任 DataNode 和 TaskTracker。 虚拟机的网络配置采用 NAT 方式，确保它们能够互相通信，并且可以访问外部网络以进行软件包的下载等操作。 ### 二、网络配置 #### 设置静态 IP 地址 为了保证虚拟机之间的稳定通信，我们首先为每台虚拟机设置静态 IP 地址： 1. **编辑配置文件**: 编辑 `/etc/sysconfig/network-scripts/ifcfg-eth0` 文件，设置静态 IP 地址、子网掩码和默认网关。 2. **重启网络服务**: 使用 `service network restart` 命令重启网络服务，使更改生效。 3. **验证网络**: 使用 `ping` 命令验证两台虚拟机之间的网络连接是否正常。 ### 三、SSH 免密码登录配置 为了简化 Hadoop 集群中的管理任务，我们需要设置 SSH 的免密码登录功能。具体步骤如下： 1. **创建用户**: 在两台虚拟机上都创建用户 zwh，并将其添加到 root 组。 2. **生成公钥**: 在每台机器上生成 SSH 密钥对，并将公钥添加到 authorized_keys 文件中。 3. **复制公钥**: 将 Slave 机器上的公钥复制到 Master 机器的 `.ssh/authorized_keys` 文件中。 4. **设置权限**: 修改 `.ssh` 目录及 `authorized_keys` 文件的权限。 5. **测试 SSH 连接**: 使用 `ssh` 命令从一台机器登录到另一台机器，确认免密码登录已成功配置。 ### 四、Hadoop 的安装与配置 #### 下载并解压 Hadoop 1. **下载 Hadoop**: 下载 Hadoop 2.6.0 的压缩包。 2. **解压**: 将 Hadoop 解压到 `/usr/local/` 目录下。 #### 创建必要的目录 1. **创建目录**: 创建 Hadoop 临时目录、数据目录以及命名目录。 #### 配置 Hadoop 环境变量 1. **修改 hadoop-env.sh**: 设置 JAVA_HOME 环境变量，指向 JDK 安装目录。 #### 配置 core-site.xml 1. **指定临时目录**: 设置 hadoop 的临时目录位置。 2. **指定 NameNode 地址**: 设置 HDFS 的 NameNode 地址。 #### 配置 hdfs-site.xml 1. **指定 NameNode 存储目录**: 设置 NameNode 数据存储的位置。 2. **指定 DataNode 存储目录**: 设置 DataNode 数据存储的位置。 3. **设置副本数**: 根据集群规模设置 HDFS 文件块的副本数量。 #### 其他配置 还需要继续完成以下配置： 1. **配置 slaves 文件**: 指定集群中所有节点的主机名。 2. **配置 yarn-site.xml**: 设置 YARN 的相关参数。 3. **格式化 NameNode**: 执行 `hdfs namenode -format` 命令来格式化 NameNode。 4. **启动 Hadoop**: 使用 `start-dfs.sh` 和 `start-yarn.sh` 脚本启动 Hadoop 集群。 ### 五、验证 Hadoop 集群 完成上述配置后，可以通过以下几个步骤验证 Hadoop 集群是否正常运行： 1. **查看 Hadoop Web UI**: 通过浏览器访问 NameNode 和 ResourceManager 的 Web UI 页面。 2. **执行 MapReduce 任务**: 使用 Hadoop 自带的例子程序测试 MapReduce 任务的执行情况。 通过上述步骤，我们已经成功地在 CentOS 6.5 环境下构建了一个基于 VMware 的 Hadoop 2.6.0 完全分布式集群。这样的集群可用于大数据处理任务，如离线数据分析、实时流处理等场景。