Hadoop_HDFS安装和管理

### Hadoop HDFS安装与管理知识点详解 #### 一、Hadoop HDFS概述 Hadoop是一种分布式计算框架，主要用于处理大规模数据集。它由多个组件组成，其中最核心的是Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是一个高度可扩展的文件系统，用于存储大量数据，并支持在集群环境中进行数据的分布存储。 #### 二、HDFS安装环境准备 在部署HDFS之前，需要对服务器环境进行一定的准备，确保硬件和软件满足要求。 ##### 2.1 硬件环境 - **服务器配置**: - 主机IP地址及配置详情如下表所示: | 主机名 | IP地址 | 配置详情 | |------------|----------------|----------------------------------| | ost2 | eth0:192.168.188.202 | eth1:10.0.0.202 (HA心跳使用地址)<br>eth0:0:192.168.188.201 (虚拟IP)<br>容量：80G<br>接口标准：IDE<br>转速：7200rpm<br>缓存容量：2M<br>平均寻道时间：9ms<br>传输标准：ATA133 | | ost3 | eth0:192.168.188.203 | eth1:10.0.0.203 (HA心跳使用地址)<br>eth0:0:192.168.188.201 (虚拟IP)<br>容量：80G<br>接口标准：IDE<br>转速：7200rpm<br>缓存容量：2M<br>平均寻道时间：9ms<br>传输标准：ATA133 | | ost4 (Datanode) | eth0:192.168.188.204 | 容量：80G<br>接口标准：IDE<br>转速：7200rpm<br>缓存容量：2M<br>平均寻道时间：9ms<br>传输标准：ATA133 | - **角色分配**: - **Namenode**: ost2和ost3 - **Datanode**: ost4 - **注意事项**: - Namenode有两个实例，即ost2和ost3，但同时只能有一个Namenode处于活动状态。 - Datanode可以有多个实例。 ##### 2.2 软件环境 - **操作系统**: Linux - **JDK版本**: 1.5.x - **Hadoop版本**: 0.18.1 (通过修改源码并重新编译得到forlink-hadoop.tar.gz) #### 三、HDFS安装步骤 按照以下步骤进行HDFS的安装部署： ##### 3.1 修改主机名 - 在所有节点上执行该操作。 - 使用命令`vi /etc/sysconfig/network`修改主机名。 ```shell NETWORKING=yes HOSTNAME=<主机名> ``` 其中，`<主机名>`为ost2、ost3或ost4。 ##### 3.2 创建HDFS用户 - 创建一个名为`hdfs`的用户，口令为`hdfs`，主目录为`/home/hdfs`。 - 确保所有机器上的`hadoop`部署目录结构相同且具有相同的用户名账户。 ##### 3.3 添加节点到`/etc/hosts` - 在所有节点上更新`/etc/hosts`文件，确保所有节点之间能够通过主机名互相识别。 - 示例内容如下: ``` 127.0.0.1 localhost.localdomain localhost 192.168.188.201 ostvip 192.168.188.203 ost3 192.168.188.202 ost2 192.168.188.204 ost4 10.0.0.202 ost2 10.0.0.203 ost3 ``` - 可以在ost2上修改后，使用`scp`命令复制到其他节点。 ##### 3.4 HDFS部署 - **步骤**: 1. 以`hdfs`用户登录，并在主目录下创建子目录`hdfsinstall`。 2. 解压缩`forlink-hadoop.tar.gz`至`hadoop-0.18.1`目录。 3. 创建符号链接`ln -s hadoop-0.18.1 hadoop`。 4. 创建配置目录`/home/hdfs/hdfsinstall/hadoop-config`。 5. 将`/home/hdfs/hdfsinstall/hadoop/conf/`中的文件拷贝到`hadoop-config`目录中。 6. 设置环境变量`HADOOP_CONF_DIR`: - 在`/home/hdfs/.bash_profile`中添加: ```shell HADOOP_CONF_DIR=/home/hdfs/hdfsinstall/hadoop-config/ export HADOOP_CONF_DIR ``` 7. 下载并安装JDK 1.5.x。 8. 创建JDK的符号链接`ln –s jdk1.5.0_16 jdk`。 9. 设置环境变量`JAVA_HOME`: - 在`/home/hdfs/.bash_profile`中添加: ```shell JAVA_HOME=/home/hdfs/hdfsinstall/jdk export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH export PATH ``` #### 四、HDFS启动与管理 - **启动HDFS**: - 启动Namenode: `bin/hadoop namenode -format` (首次启动时格式化文件系统)，之后使用`bin/start-dfs.sh`启动。 - 启动Datanode: 确保所有Datanode节点都已启动，使用`bin/start-dfs.sh`。 - **监控HDFS状态**: - 使用`bin/hadoop dfsadmin -report`查看集群状态报告。 - 查看Namenode和Datanode的状态: `jps`。 - **故障恢复**: - 对于Namenode故障，可以通过激活另一个Namenode来实现故障切换。 - 对于Datanode故障，HDFS会自动重分配丢失的数据块到其他Datanode。 #### 五、总结 本文档详细介绍了Hadoop HDFS的安装和管理过程，从环境准备、用户创建、主机名配置、HDFS部署等多个方面进行了详细介绍。这些步骤对于成功部署Hadoop HDFS至关重要，有助于搭建稳定可靠的Hadoop集群。通过本文档的学习，读者可以掌握Hadoop HDFS的基本安装和管理方法，为进一步深入学习和实践打下坚实的基础。