### Hadoop环境配置详解——单机集群篇
#### 一、引言
随着大数据时代的到来，Hadoop作为处理海量数据的利器，其重要性不言而喻。本文旨在详细介绍如何在虚拟机上安装Hadoop环境，并搭建单机集群。通过图文并茂的方式，帮助读者深入理解每一个步骤。
#### 二、准备工作
为了确保安装过程顺利进行，首先需要准备以下环境：
- **虚拟机版本**：VM10
- **操作系统**：CentOS6.5-i386
- **JDK版本**：jdk-7u71-linux-i586.rpm
- **Hadoop版本**：2.6.1
- **其他必备工具**：SSH、YUM等
**下载链接**：
- Hadoop2.6.1和jdk7：[百度网盘](https://pan.baidu.com/s/1hs5MNK4) 密码: capq
- Hadoop教程：[百度网盘](https://pan.baidu.com/s/1pKIQtr9)
#### 三、Hadoop单机集群配置步骤详解
##### 1. 设置固定IP
为了保证网络通信稳定，首先需要设置虚拟机的静态IP。这一步骤中，`DEVICE`的值应与`/etc/udev/rules.d/70-persistent-net.rules`文件中的`NAME`值相对应。若使用虚拟机克隆，则需选择与当前虚拟机MAC地址相匹配的接口。
**命令示例**：
```bash
# 编辑 /etc/sysconfig/network-scripts/ifcfg-eth0 文件
# 将如下内容写入文件
DEVICE=eth0
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.1.10
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
```
##### 2. 设置DNS
为了方便连接互联网，需要配置DNS服务器地址。可以查询本地可用的DNS地址，通常ISP（互联网服务提供商）会提供此类信息。
**命令示例**：
```bash
# 编辑 /etc/resolv.conf 文件
# 添加以下内容
nameserver 8.8.8.8
nameserver 8.8.4.4
```
##### 3. 设置本机域名
为了提高网络识别度，建议设置本机域名。可以在`/etc/hosts`文件中添加主机名与IP地址的映射关系。
**命令示例**：
```bash
# 编辑 /etc/hosts 文件
# 添加以下内容
192.168.1.10 h1
```
##### 4. 重启网络服务
重启网络服务使配置生效。
**命令示例**：
```bash
service network restart
```
##### 5. 关闭防火墙
为了确保Hadoop组件之间的通信不受阻，需要关闭防火墙。
**命令示例**：
```bash
service iptables stop
chkconfig iptables off
```
##### 6. 关闭SELinux
SELinux可能会阻止Hadoop的正常运行。对于学习用途，可以暂时关闭它。
**命令示例**：
```bash
setenforce 0
# 或者永久关闭
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
```
重启虚拟机让更改生效。
##### 7. 配置YUM源
YUM是Red Hat Linux系统下的软件包管理器。通过配置合适的YUM源，可以方便地安装所需软件包。
**步骤说明**：
1. 访问[网易YUM源](http://mirrors.163.com/.help/centos.html)，下载适合CentOS版本的repo文件。
2. 将默认的repo文件移除。
```bash
rm -rf /etc/yum.repos.d/*
```
3. 修改下载的repo文件，将`gpgcheck`设为0。
4. 将repo文件放置于`/etc/yum.repos.d/`目录下。
5. 运行命令生成缓存。
```bash
yum clean all
yum makecache
```
##### 8. 安装Telnet
安装Telnet用于验证网络连接。
**命令示例**：
```bash
yum install telnet
```
##### 9. 配置主机名的反向解析
在`/etc/hosts`文件中添加主机名及其对应的IP地址。
**命令示例**：
```bash
echo "192.168.1.10 h1" >> /etc/hosts
```
##### 10. 配置Java和Hadoop环境变量
通过RPM包安装JDK，并解压Hadoop压缩包。然后编辑`.bashrc`文件，添加环境变量。
**命令示例**：
```bash
rpm -ivh jdk-7u71-linux-i586.rpm
tar -zxvf hadoop-2.6.1.tar.gz
echo "export JAVA_HOME=/usr/java/jdk1.7.0_71" >> ~/.bashrc
echo "export HADOOP_HOME=/path/to/hadoop-2.6.1" >> ~/.bashrc
echo "export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH" >> ~/.bashrc
source ~/.bashrc
```
##### 11. 配置无密码登录
为了便于Hadoop组件间的通信，需要配置SSH无密码登录。
**命令示例**：
```bash
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
```
##### 12. 修改Hadoop配置文件
接下来需要对Hadoop的配置文件进行修改，包括但不限于`core-site.xml`、`hdfs-site.xml`等。
**核心配置**：
- `core-site.xml`：配置HDFS的入口，即NameNode的端口。
- `hdfs-site.xml`：配置数据存储目录以及数据副本的数量。
- `slaves`：设置集群节点信息。
**命令示例**：
```xml
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
##### 13. 格式化Hadoop
格式化Hadoop是启动Hadoop集群前的必要步骤。
**命令示例**：
```bash
hdfs namenode -format
```
##### 14. 启动与停止服务
使用脚本来启动或停止Hadoop服务。
**命令示例**：
```bash
start-dfs.sh # 启动服务
stop-dfs.sh # 停止服务
```
**查看服务状态**：
```bash
jps
```
#### 四、Hadoop集群扩展
为了实现集群模式，需要进行虚拟机克隆，并对新克隆出的虚拟机进行相同的配置。此外，还需要修改`slaves`文件，增加新的节点信息。
**虚拟机克隆**：
- 关闭虚拟机。
- 使用虚拟机软件提供的克隆功能克隆虚拟机。
- 调整网络设置和主机名，确保每个虚拟机的网络配置互不相同。
**集群节点配置**：
- 在`slaves`文件中增加新的节点名称。
- 格式化Hadoop并重新启动服务。
#### 五、总结
通过上述步骤，您已经成功搭建了一个Hadoop单机集群环境。从设置网络参数到安装必要的软件包，再到配置Hadoop的核心组件，每一步都至关重要。希望本文能够帮助您更好地理解和掌握Hadoop的部署流程。未来，您可以基于这个基础进一步探索Hadoop的更多高级特性。
