### Hadoop配置详解
#### 一、环境搭建与配置前准备
**1.1 安装环境**
- **操作系统:** Ubuntu 14.04.3 LTS
- **Hadoop 版本:** hadoop-2.5.2 或 hadoop-2.6.0 或更高版本
- **Java 版本:** Oracle JDK 7u80
**1.2 下载 Hadoop**
- 下载 Hadoop-2.6.0 版本。
**1.3 设置 HADOOP_HOME 环境变量**
- 在用户主目录下的 `.bashrc` 文件中添加环境变量:
```bash
export HADOOP_HOME=/home/scidb/hadoop-2.6.0
```
- 使用 `source ~/.bashrc` 命令更新环境变量。
#### 二、安装 Java 并配置 JAVA_HOME
**2.1 安装 JDK**
- 安装 Oracle JDK 7。
- 更新 `/etc/profile` 文件以配置 `JAVA_HOME`:
```bash
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export PATH=$JAVA_HOME/bin:$PATH
```
- 执行 `source /etc/profile` 使配置生效。
#### 三、配置 SSH 免密码登录
**3.1 生成 SSH 密钥**
- 运行 `ssh-keygen -t rsa` 命令生成密钥对。
- 将公钥添加到授权文件中:
```bash
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
```
- 配置免密码登录:
```bash
ssh localhost
```
#### 四、Hadoop 配置文件修改
**4.1 修改 hadoop-env.sh 文件**
- 在 `${HADOOP_HOME}/etc/hadoop/` 目录下编辑 `hadoop-env.sh` 文件, 添加:
```bash
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
```
**4.2 修改 core-site.xml**
- 添加默认文件系统路径:
```xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
```
- 指定临时目录:
```xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/scidb/tmp</value>
</property>
```
**4.3 修改 hdfs-site.xml**
- 设置数据块副本数量:
```xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
```
**4.4 配置 MapReduce 服务**
- 重命名 `mapred-site.xml.template` 为 `mapred-site.xml`:
```bash
mv mapred-site.xml.template mapred-site.xml
```
- 添加 YARN 框架名称:
```xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
```
**4.5 配置 YARN**
- 在 `yarn-site.xml` 中添加:
```xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
```
#### 五、格式化与启动 HDFS
**5.1 格式化 HDFS**
- 运行 `bin/hdfs namenode -format` 命令进行格式化。
**5.2 启动 HDFS**
- 执行 `sbin/start-dfs.sh` 命令启动 HDFS 服务。
#### 六、常见问题及解决方案
**6.1 错误信息处理**
- **错误1:** `WARN util.NativeCodeLoader:Unable to load native-hadoop library for your platform`
- 解决方案: 此警告是因为未能加载特定平台的本地库, 但通常不影响功能。
- **错误2:** `Starting namenodes on [OpenJDKServerVM warning]`
- 解决方案: 如果使用 OpenJDK 而非 Oracle JDK, 可能会遇到类似警告。这通常不是严重问题, 但确保已正确配置所有依赖项和环境变量。
#### 七、总结
通过以上步骤, 我们可以在 Ubuntu 14.04.3 上成功配置并运行 Hadoop 集群。需要注意的是, 在实际部署过程中可能会遇到各种各样的问题, 如版本兼容性、权限设置等, 这些都需要根据具体情况进行调整和优化。此外, 在正式环境中还应考虑高可用性和性能优化等方面的问题。
