Hadoop HDFS配置
1、JDK安装,解压到/usr/local/jdk1.6,并配置/etc/profile环境 export JAVA_HOME=/usr/local/jdk1.6 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar 2、下载Hadoop 解压到每台服务器的/data/soft目录
### Hadoop HDFS配置详解
#### 一、JDK安装与环境配置
为了确保Hadoop能够正常运行，首先需要在所有服务器上安装JDK。在本案例中，选择了JDK 1.6版本进行安装，并将它解压到了`/usr/local/jdk1.6`目录下。
**具体步骤如下：**
1. **JDK安装路径设置**：
- 将JDK解压缩至`/usr/local/jdk1.6`目录。
2. **配置JDK环境变量**：
- 打开或创建`/etc/profile`文件。
- 在该文件中添加以下内容来设置环境变量：
```bash
export JAVA_HOME=/usr/local/jdk1.6
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
```
- 完成编辑后，需要使新的环境变量生效，可以通过执行`source /etc/profile`命令实现。
#### 二、Hadoop安装与基本配置
完成JDK安装之后，接下来需要安装Hadoop。
**具体步骤如下：**
1. **Hadoop安装**：
- 下载Hadoop软件包，假设下载的版本为`hadoop-2.20.1.tar.gz`。
- 将该软件包解压到每台服务器的`/data/soft`目录下。建议所有服务器的安装路径保持一致，以便于管理和维护。
2. **Hadoop配置**：
- 修改`conf/hadoop-env.sh`文件，添加JDK支持路径：
```bash
export JAVA_HOME=/usr/local/jdk1.6
```
#### 三、Hadoop HDFS核心配置
接下来，需要对Hadoop HDFS进行详细配置。
**具体步骤如下：**
1. **配置`core-site.xml`**：
- 进入`/data/soft/hadoop-2.20.1/conf`目录。
- 编辑`core-site.xml`文件，添加以下内容：
```xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://ws:54310</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/data/hdfs/hdfs1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hdfs/hdfsdata1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hdfs/hdfstmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
- 其中`fs.default.name`指定的是NameNode的地址及其端口；`dfs.name.dir`定义了NameNode保存元数据的本地文件系统路径；`dfs.data.dir`则定义了DataNode存储数据块的本地路径；`hadoop.tmp.dir`用于指定Hadoop的临时文件夹路径；`dfs.replication`设置了数据块的复制因子。
2. **配置`mapred-site.xml`**：
- 同样地，在`conf`目录下编辑`mapred-site.xml`文件，添加以下内容：
```xml
<property>
<name>mapred.job.tracker</name>
<value>ws:54311</value>
</property>
```
- 其中`mapred.job.tracker`指定了JobTracker的主机名称和端口号。
3. **配置Master和Slave节点**：
- 编辑`conf/masters`文件，指定Master节点。
- 编辑`conf/slaves`文件，列出所有Slave节点。
4. **更新Hosts文件**：
- 编辑`/etc/hosts`文件，添加Master和Slave节点的IP地址和主机名映射。
#### 四、分发Hadoop配置文件
将Hadoop配置文件分发到其他节点。
**具体步骤如下：**
1. **分发Hadoop配置文件**：
- 使用`scp`命令将`/data/soft/hadoop-2.20.1`目录及其中的所有文件复制到DataNode和Client节点上：
```bash
scp -rp /data/soft/hadoop-2.20.1 192.168.1.12:/data/soft
scp -rp /data/soft/hadoop-2.20.1 192.168.1.13:/data/soft
```
#### 五、Hadoop HDFS初始化与启动
最后一步是对HDFS进行初始化，并启动Hadoop服务。
**具体步骤如下：**
1. **格式化HDFS文件系统**：
- 进入Hadoop目录，使用`bin/hadoop namenode -format`命令进行格式化。
2. **启动HDFS**：
- 进入Hadoop目录，使用`bin/start-all.sh`命令启动所有Hadoop守护进程，包括Namenode、Datanode、JobTracker和TaskTracker。
通过以上步骤，我们完成了Hadoop HDFS的基本配置过程。这些步骤是构建Hadoop集群的基础，对于理解和操作Hadoop系统至关重要。
