### Ubuntu20.04环境下Hadoop2.10.0集群搭建详解
#### 一、环境准备
本文档详细介绍了如何在Ubuntu20.04操作系统上搭建Hadoop2.10.0集群，包括环境配置、软件安装、网络设置、集群启动等多个方面。
##### 1. 服务器环境
集群包含三台服务器：
- **us1**：`192.168.94.136`
- **us2**：`192.168.94.137`
- **us3**：`192.168.94.138`
这些服务器均运行Ubuntu20.04系统，并且已预先安装必要的基础软件包。
##### 2. 固定IP地址
为了确保集群稳定运行，我们需要固定每台服务器的IP地址。可以通过编辑`/etc/netplan/00-installer-config.yaml`文件来实现这一点：
```shell
sudo vi /etc/netplan/00-installer-config.yaml
```
将文件内容修改为：
```yaml
# This is the network config written by 'subiquity'
network:
ethernets:
ens32:
dhcp4: false
addresses: [192.168.94.136/24]
gateway4: 192.168.111.2
nameservers:
addresses: [114.114.114.114, 223.5.5.5]
version: 2
```
保存并关闭文件后，通过执行以下命令使新配置生效：
```shell
sudo netplan apply
```
##### 3. 配置主机名到IP地址的映射关系
为了方便集群间的通信，我们需要在各台服务器的`/etc/hosts`文件中添加主机名与IP地址的映射：
```shell
sudo vi /etc/hosts
```
添加如下内容：
```
127.0.0.1 localhost
192.168.94.136 us1
192.168.94.137 us2
192.168.94.138 us3
```
对于管理集群的Windows主机，同样需要在其`C:\Windows\System32\drivers\etc\hosts`文件中添加上述映射。
##### 4. 配置SSH免密登录
在集群环境中，SSH免密登录是非常重要的功能，它能够提高运维效率。具体步骤如下：
1. 在所有主机上执行`ssh-keygen`命令，生成公钥和私钥；
2. 将`us1`主机上的公钥拷贝到`us2`和`us3`主机：
```shell
scp ~/.ssh/id_rsa.pub briup@us2:~
scp ~/.ssh/id_rsa.pub briup@us3:~
```
3. 在`us2`和`us3`主机上，将`us1`主机的公钥添加到`~/.ssh/authorized_keys`文件中：
```shell
cat id_rsa.pub >> .ssh/authorized_keys
```
##### 5. 创建软件安装目录并修改权限
为了方便管理和维护，我们创建`/opt/softwares`和`/opt/links`目录用于存放第三方软件及其链接：
```shell
sudo mkdir -p /opt/softwares /opt/links
sudo chown -R briup:briup /opt/*
```
#### 二、搭建Hadoop集群
##### 1. 安装和配置JDK
Hadoop依赖于JDK，因此首先需要安装JDK：
1. 解压JDK：
```shell
tar xzvf jdk-8u261-linux-x64.tar.gz -C /opt/softwares/
```
2. 创建软链接：
```shell
ln -sf /opt/softwares/jdk1.8.0_261 /opt/links/jdk
```
3. 配置环境变量：
```shell
vi ~/.bashrc
```
添加如下内容：
```bash
export JAVA_HOME=/opt/links/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin
source ~/.bashrc
```
##### 2. 安装和配置Hadoop
接下来安装Hadoop：
1. 解压Hadoop：
```shell
tar xzvf hadoop-2.10.0.tar.gz -C /opt/softwares/
```
2. 创建软链接：
```shell
ln -sf /opt/softwares/hadoop-2.10.0 /opt/links/hadoop
```
3. 配置环境变量：
```shell
export HADOOP_HOME=/opt/links/hadoop
export HADOOP_USER_NAME=briup
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
```
##### 3. 搭建HDFS集群和YARN集群
接下来，需要配置Hadoop的核心配置文件。这些配置文件位于Hadoop安装目录下的`etc/hadoop`目录中。主要涉及以下文件的配置：
- **core-site.xml**：用于定义Hadoop的基本配置，如HDFS的地址等。
- **hdfs-site.xml**：用于配置HDFS相关的参数。
- **yarn-site.xml**：用于配置YARN相关的参数。
- **mapred-site.xml**：用于配置MapReduce相关的参数。
- **masters** 和 **slaves**：用于指定集群中的Master和Slave节点。
完成配置后，需要格式化HDFS文件系统，并启动Hadoop服务。此外，还需要监控Hadoop集群的运行状态，确保集群正常运行。
以上步骤详细介绍了如何在Ubuntu20.04操作系统上搭建一个完整的Hadoop2.10.0集群。在实际操作过程中可能会遇到各种问题，例如网络连接失败、配置文件错误等，这些问题都需要根据实际情况逐一排查解决。
