1、集群部署介绍
1.1 Hadoop简介
1.2 环境说明
1.3 网络配置
1.4 所需软件
1.5 VSFTP上传
2、SSH无密码验证配置
2.1 安装和启动SSH协议
2.2 配置Master无密码登录所有Salve
2.3 配置所有Slave无密码登录Master
3、Java环境安装
3.1 安装JDK
3.2 配置环境变量
3.3 验证安装成功
3.4 安装剩余机器
4、Hadoop集群安装
4.1 安装hadoop
4.2 配置hadoop
4.3 启动及验证
4.4 网页查看集群
5、常见问题FAQ
### Hadoop集群安装配置详解
#### 一、集群部署介绍
**1.1 Hadoop简介**
Hadoop是一个开源分布式计算平台，由Apache软件基金会维护。它主要包括两大部分：Hadoop分布式文件系统（HDFS）和MapReduce计算框架。HDFS为用户提供了分布式存储功能，而MapReduce则提供了一种高效的数据处理机制。通过这两个核心组件，Hadoop能够隐藏系统底层的复杂性，让用户更加专注于应用逻辑的开发。
- **HDFS**：由一个NameNode和多个DataNode组成。NameNode负责管理和控制整个文件系统的命名空间，并处理客户端请求；DataNode则负责存储实际的数据块。
- **MapReduce**：由一个JobTracker和多个TaskTracker组成。JobTracker负责调度任务到各个TaskTracker执行，并监控其执行情况，一旦有TaskTracker失败，则重新调度该任务。
**1.2 环境说明**
本案例中，Hadoop集群包含4台服务器，1台作为Master节点，3台作为Salve节点。这些服务器通过局域网互相连接，可以互相Ping通。具体配置如下：
- Master节点：`192.168.1.2`
- Salve1节点：`192.168.1.3`
- Salve2节点：`192.168.1.4`
- Salve3节点：`192.168.1.5`
所有节点都运行CentOS 6.0操作系统，并具有相同用户`hadoop`。Master节点配置了NameNode和JobTracker服务，用于管理和调度任务；Salve节点配置了DataNode和TaskTracker服务，负责存储数据和执行任务。
**1.3 网络配置**
为了确保集群内的服务器能够正常通信，需要正确配置网络设置。这里以Master节点为例，说明如何修改主机名：
1. **查看当前机器名称**：使用`hostname`命令来查看当前机器的名称，例如`hostname`。
2. **修改当前机器名称**：如果需要修改主机名，可以通过编辑`/etc/sysconfig/network`文件来实现。找到`HOSTNAME`行，并将其修改为我们规划好的名称，如`Master.Hadoop`。
#### 二、SSH无密码验证配置
**2.1 安装和启动SSH协议**
- 在Master节点上安装SSH服务：`yum install openssh-server -y`
- 启动SSH服务：`service sshd start`
**2.2 配置Master无密码登录所有Salve**
1. 在Master节点生成SSH密钥对：
```bash
ssh-keygen -t rsa -P ""
```
2. 将公钥复制到每个Salve节点：
```bash
ssh-copy-id salve1
ssh-copy-id salve2
ssh-copy-id salve3
```
**2.3 配置所有Salve无密码登录Master**
重复上述步骤，但这次是在每个Salve节点上执行。
#### 三、Java环境安装
**3.1 安装JDK**
- 下载JDK安装包，例如`jdk-8u251-linux-x64.rpm`。
- 安装JDK：`rpm -ivh jdk-8u251-linux-x64.rpm`
**3.2 配置环境变量**
- 编辑`/etc/profile`文件，添加以下内容：
```bash
export JAVA_HOME=/usr/java/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
```
- 加载配置：`source /etc/profile`
**3.3 验证安装成功**
- 检查Java版本：`java -version`
**3.4 安装剩余机器**
在其他节点上重复上述步骤。
#### 四、Hadoop集群安装
**4.1 安装Hadoop**
- 下载Hadoop安装包，例如`hadoop-3.2.1.tar.gz`。
- 解压并安装Hadoop：`tar -zxvf hadoop-3.2.1.tar.gz -C /opt`
**4.2 配置Hadoop**
- 修改`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`等配置文件。
- 设置Hadoop的环境变量。
**4.3 启动及验证**
- 初始化HDFS文件系统：`hdfs namenode -format`
- 启动Hadoop服务：`start-dfs.sh && start-yarn.sh`
- 检查服务状态：`jps`
**4.4 网页查看集群**
- 访问NameNode的状态页面：`http://master.hadoop:50070`
- 查看YARN资源管理器：`http://master.hadoop:8088`
#### 五、常见问题FAQ
- **问题1：Hadoop服务无法启动**
检查`/var/log/hadoop/hadoop.log`等日志文件，查看错误信息。
- **问题2：数据丢失**
定期备份Hadoop配置文件和数据目录。
- **问题3：性能优化**
调整Hadoop配置参数，如内存大小、数据块大小等。
通过以上步骤，可以成功搭建一个基本的Hadoop集群，并进行简单的测试。随着使用的深入，还需要根据实际需求进一步调整和优化配置。
