### Hadoop、Hive、HBase 的安装配置详解
#### 一、Hadoop 安装配置
##### 1. 创建用户与安装 JDK
在安装 Hadoop 前，首先需要创建一个专用的用户账户用于运行 Hadoop 相关服务，并确保 Java 环境已经正确安装。
- **创建用户**：通过 `useradd hadoop` 命令创建 hadoop 用户，并设置密码 `passwd hadoop`。
- **检查 Java 环境**：如果系统上还未安装 Java，则需要通过 RPM 包进行安装。使用命令 `rpm -i jdk-7u1-linux-x64.rpm` 安装 JDK，并将其默认安装路径设为 `/usr/java/`。
- **配置环境变量**：编辑 `/etc/profile` 文件，添加以下内容：
```bash
export JAVA_HOME=/usr/java/jdk1.7.0_018
export JRE_HOME=/usr/java/jdk1.7.0_01/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
```
这里假设使用的 JDK 版本为 `jdk1.7.0_018` 和 `jdk1.6.0_25`，实际操作时应根据实际情况调整版本号。
##### 2. 配置 hosts 文件
为了确保集群内部各节点之间的网络通信，需要正确配置 `/etc/hosts` 文件。例如：
- `10.10.102.15 master`
- `10.10.106.8 slave1`
- `10.10.106.8 slave2`
这里指定了主节点（master）和两个从节点（slave1 和 slave2）的 IP 地址和主机名。
##### 3. SSH 免密登录配置
- **生成密钥对**：在主节点上执行 `ssh-keygen -t rsa` 命令生成 SSH 密钥对，默认会保存到 `.ssh/` 目录下。
- **分发公钥**：将主节点上的公钥文件 `id_rsa.pub` 复制到 `.ssh/authorized_keys` 文件中。同时，在从节点上创建 `.ssh/` 目录，并将公钥文件发送过去。
- **权限设置**：确保 `.ssh/` 目录权限为 `755`，`id_rsa.pub` 和 `authorized_keys` 文件权限为 `644`，而私钥文件 `id_rsa` 的权限为 `600`。这样可以避免安全问题。
- **验证免密登录**：在主节点上执行 `ssh localhost`、`ssh slave1` 和 `ssh slave2` 来测试免密登录是否成功。
##### 4. 安装与配置 Hadoop
- **解压安装包**：在主节点上解压 Hadoop 安装包至指定目录，如 `/home/hadoop/hadoop-0.20.203.0`。
- **配置环境变量**：编辑 `/etc/profile` 文件，添加 Hadoop 的环境变量：
```bash
export HADOOP_HOME=/home/hadoop/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_HOME/bin
```
- **配置临时目录**：创建 Hadoop 使用的临时目录，并确保 hadoop 用户对该目录有读写权限：
```bash
mkdir /tmp
chown -R hadoop:hadoop /tmp
```
- **编辑配置文件**：编辑 Hadoop 的配置文件 `core-site.xml`、`mapred-site.xml` 和 `hdfs-site.xml`。
- **`core-site.xml`**：
```xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp/</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value>
</property>
<property>
<name>io.sort.mb</name>
<value>1024</value>
</property>
</configuration>
```
- **`mapred-site.xml`**：
```xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>
<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx4096m</value>
</property>
<property>
<name>mapred.reduce.child.java.opts</name>
<value>-Xmx4096m</value>
</property>
</configuration>
```
- **`hdfs-site.xml`**：
```xml
<configuration>
<property>
<name>dfs.replica.</name> <!-- 缺少关键配置项 -->
</property>
</configuration>
```
这里 `dfs.replica.` 后面的配置项未给出完整信息，通常需要设置副本数量等参数，例如 `<name>dfs.replication</name>`。
完成以上步骤后，即可启动 Hadoop 服务，并进行进一步的功能测试和验证。
#### 二、Hive 安装配置
在完成了 Hadoop 的安装配置之后，接下来可以安装 Hive，以便于进行更高级的数据查询和管理操作。
1. **下载并解压 Hive 安装包**：将 Hive 的安装包解压到合适的目录，如 `/home/hadoop/hive-1.2.1`。
2. **配置环境变量**：编辑 `/etc/profile` 文件，添加 Hive 的环境变量：
```bash
export HIVE_HOME=/home/hadoop/hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin
```
3. **配置 Hive 依赖**：Hive 需要依赖于 JDBC 驱动来连接 MySQL 数据库（用于存储元数据）。需要将 MySQL 的 JDBC 驱动文件复制到 Hive 的 lib 目录下。
4. **配置 Hive 属性文件**：编辑 `hive-site.xml` 文件，设置 Hive 的基本属性，包括元数据存储位置、日志级别等。
#### 三、HBase 安装配置
在 Hadoop 和 Hive 安装配置完成后，可以继续安装 HBase 来实现大规模数据存储。
1. **下载并解压 HBase 安装包**：将 HBase 的安装包解压到合适的目录，如 `/home/hadoop/hbase-0.98.10`。
2. **配置环境变量**：编辑 `/etc/profile` 文件，添加 HBase 的环境变量：
```bash
export HBASE_HOME=/home/hadoop/hbase-0.98.10
export PATH=$PATH:$HBASE_HOME/bin
```
3. **配置 HBase 属性文件**：编辑 `hbase-site.xml` 文件，设置 HBase 的基本属性，包括 ZooKeeper 的地址、HFile 压缩算法等。
4. **启动 HBase 服务**：在所有节点上启动 HBase 的 Master 和 RegionServer 服务，并确保它们正常运行。
#### 总结
本文详细介绍了 Hadoop、Hive、HBase 的安装配置过程。通过这些步骤，可以搭建一个完整的分布式计算平台，为大数据处理提供支持。需要注意的是，实际部署过程中可能会遇到各种具体问题，需要根据实际情况灵活调整配置方案。
