### Hadoop安装配置教程知识点详解
#### 一、前言
Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它通过提供一个高效、可靠且可扩展的平台来支持大数据应用。本文档旨在详细介绍Hadoop的安装与配置过程，并帮助用户顺利完成部署。
#### 二、环境准备
1. **操作系统安装**：
- **要求**：在所有服务器节点上安装相同的操作系统，推荐使用Linux发行版，如Ubuntu或CentOS。这有助于统一管理，并减少跨平台带来的兼容性问题。
- **步骤**：根据各服务器硬件配置选择合适版本的操作系统进行安装。
2. **网络配置**：
- **要求**：确保所有服务器节点位于同一局域网内，并且每个节点的IP地址不冲突。
- **步骤**：通过修改`/etc/network/interfaces`（Ubuntu）或`/etc/sysconfig/network-scripts/ifcfg-eth0`（CentOS）文件来配置IP地址、子网掩码等网络参数。
#### 三、JDK安装
1. **安装Java环境**：
- **原因**：Hadoop是基于Java语言编写的，因此需要在所有节点上安装Java运行环境。
- **步骤**：可以通过官方源或第三方源下载并安装JDK。例如，在Ubuntu系统中可以使用命令`sudo apt-get install default-jdk`进行安装。
#### 四、Hadoop安装包下载
1. **选择版本**：
- **原因**：Hadoop的不同版本可能适用于不同的应用场景和需求。
- **步骤**：访问Hadoop官方网站（https://hadoop.apache.org/releases.html），根据实际需求选择合适的版本下载。
2. **上传安装包**：
- **位置**：将下载好的Hadoop压缩包上传至服务器的`/opt/hadoop`目录下。
- **解压**：使用命令`tar -zxvf hadoop-2.7.5.tar.gz`解压Hadoop安装包。
#### 五、Hadoop配置
1. **编辑配置文件**：
- **`core-site.xml`**：设置文件系统默认名称等参数。
- 示例配置项：`<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property>`
- **`hdfs-site.xml`**：配置HDFS相关参数。
- 示例配置项：`<property><name>dfs.replication</name><value>3</value></property>`
- **`mapred-site.xml`**：配置MapReduce作业。
- 示例配置项：`<property><name>mapreduce.framework.name</name><value>yarn</value></property>`
- **`yarn-site.xml`**：配置YARN资源管理。
- 示例配置项：`<property><name>yarn.resourcemanager.hostname</name><value>master</value></property>`
#### 六、SSH配置
1. **免密登录**：
- **原因**：为了实现节点间的无障碍通信，需要在所有节点之间配置SSH免密码登录。
- **步骤**：首先在Master节点生成SSH密钥对，然后将公钥复制到其他节点的`~/.ssh/authorized_keys`文件中。
#### 七、Hadoop服务启动
1. **格式化文件系统**：
- **命令**：在Master节点上执行`hdfs namenode -format`命令以格式化HDFS文件系统。
- **注意事项**：该操作仅在首次启动时执行。
2. **启动服务**：
- **命令**：使用脚本`start-dfs.sh`和`start-yarn.sh`启动HDFS和YARN服务。
- **验证**：使用`jps`命令检查Hadoop守护进程是否正常启动，如NameNode、DataNode等。
#### 八、其他注意事项
1. **修改主机名**：
- **原因**：为了方便管理和识别各节点，建议为每个节点分配唯一的主机名。
- **步骤**：编辑`/etc/hostname`文件更改主机名，并更新`/etc/hosts`文件中的记录。
2. **防火墙设置**：
- **要求**：确保防火墙规则允许Hadoop通信所需的端口。
- **步骤**：在CentOS中，可以通过命令`firewall-cmd --add-port=8088/tcp --permanent`添加开放端口。
#### 九、总结
通过上述步骤，我们可以成功地在多台服务器上搭建一个完整的Hadoop集群。对于初学者而言，建议先在一个简单的环境中尝试安装和配置Hadoop，以便更好地理解各个组件之间的交互原理。随着实践经验的积累，再逐步扩展到更复杂的场景中。如果在安装过程中遇到困难，可以参考官方文档或其他在线资源寻求帮助。
