Hadoop集群安装配置教程-Hadoop2.6.0-Ubuntu-CentOS.docx
版权申诉
77 浏览量
2022-11-26
13:59:14
上传
评论
收藏 1.71MB DOCX 举报
Hadoop 集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看
Hadoop 安装教程_单机/伪分布式配置 或 CentOS 安装 Hadoop_单机/伪分布式配置。
本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0,
Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利
安装并运行 Hadoop。另外有 Hadoop 安装配置简略版方便有基础的读者快速完成安装。
为了方便新手入门，我们准备了两篇不同系统的 Hadoop 伪分布式配置教程。但其他 Hadoop 教程我们
将不再区分，可同时适用于 Ubuntu 和 CentOS/RedHat 系统。例如本教程以 Ubuntu 系统为主要演示
环境，但对 Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与 CentOS 7 的操作区别等都会尽量给出
注明。
环境
本教程使用 Ubuntu 14.04 64 位 作为系统环境，基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本
下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1，Hadoop 2.4.1 等。
本教程简单的使用两个节点作为集群环境: 一个作为 Master 节点，局域网 IP 为 192.168.1.121；另一
个作为 Slave 节点，局域网 IP 为 192.168.1.122。
准备工作
Hadoop 集群的安装配置大致为如下流程:
1. 选定一台机器作为 Master
2. 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3. 在 Master 节点上安装 Hadoop，并完成配置
4. 在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
5. 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
6. 在 Master 节点上开启 Hadoop
配置 hadoop 用户、安装 SSH server、安装 Java 环境、安装 Hadoop 等过程已经在 Hadoop 安装教程
_单机/伪分布式配置 或 CentOS 安装 Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复
叙述。
继续下一步配置前，请先完成上述流程的前 4 个步骤。
网络配置
假设集群所用的节点都位于同一个局域网。
如果使用的是虚拟机安装的系统，那么需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点
互连，例如在 VirturalBox 中的设置如下图。此外，如果节点的系统是在虚拟机中直接复制的，要确保各
个节点的 Mac 地址不同（可以点右边的按钮随机生成 MAC 地址，否则 IP 会冲突）：
剩余12页未读，继续阅读
评论0
最新资源