【yum安装CDH5.5 hive、impala的过程详解】
在大数据处理中，Hive和Impala是两个关键组件，它们分别提供了数据仓库和实时分析的功能。本文将详细阐述通过YUM包管理器在CDH5.5环境下安装Hive和Impala的步骤，以及必要的配置和设置。
一、安装Hive组件
1. **安装Hive服务器**：
在主节点（例如bd-ops-test-77）上安装Hive及其相关服务，包括HiveServer2和HiveMetaStore：
```
# yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y
```
2. **安装MySQL服务器**：
作为Hive的元数据存储，需要先安装MySQL服务器：
```
# yum install mysql mysql-devel mysql-server mysql-libs -y
```
启动MySQL服务，并设置开机启动：
```
# chkconfig mysqld on
# service mysqld start
```
3. **安装JDBC驱动**：
安装MySQL的JDBC驱动，然后将其链接到Hive的库中：
```
# yum install mysql-connector-java
# ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar
```
4. **配置MySQL**：
创建名为'metastore'的数据库，设置用户'hive'的权限：
```
# mysqladmin -uroot password 'bigdata'
# mysql -uroot -pbigdata
CREATE DATABASE metastore;
USE metastore;
SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-1.1.0.mysql.sql;
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'localhost';
GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'%';
FLUSH PRIVILEGES;
```
5. **修改Hive配置**：
更新`hive-site.xml`，设置MySQL连接信息：
```
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://172.16.57.75:3306/metastore?useUnicode=true&characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
```
二、配置Hive环境
1. **添加HADOOP_MAPRED_HOME环境变量**：
在`/etc/hadoop/conf/hadoop-env.sh`中添加：
```
export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce
```
2. **设置HDFS目录**：
创建Hive的数据仓库目录，并设置适当权限：
```
# sudo -u hdfs hadoop fs -mkdir /user/hive
# sudo -u hdfs hadoop fs -chown hive /user/hive
# sudo -u hdfs hadoop fs -mkdir /user/hive/warehouse
# sudo -u hdfs hadoop fs -chmod 1777 /user/hive/warehouse
# sudo -u hdfs hadoop fs -chown hive /user/hive/warehouse
```
三、安装Impala
1. **安装Impala组件**：
在所有参与节点上安装Impala服务，包括Impalad、StateStore和Catalog Server：
```
# yum install impala impala-server impala-state-store impala-catalog impala-tools -y
```
2. **配置Impala**：
配置Impala的各个服务，如`/etc/impala/conf/impala.ini`，确保所有节点的配置一致，包括Impalad、StateStore和Catalog Server的地址。
3. **初始化Impala**：
初始化Impala服务，同步Hive元数据到Impala：
```
# impala-shell -i localhost
>invalidate metadata;
```
四、启动与验证
1. **启动Hive服务**：
```
# service hive-server2 start
```
2. **启动Impala服务**：
```
# service impala-daemon start
# service impala-state-store start
# service impala-catalog start
```
3. **验证安装**：
使用Hive命令行或Impala Shell验证Hive和Impala是否正常工作，创建测试表并插入数据，执行查询以确保能正确读取数据。
通过以上步骤，你已经在CDH5.5环境中成功安装了Hive和Impala，并进行了必要的配置。确保所有的配置都已经正确无误，接下来就可以开始利用这两个组件进行大数据处理和实时分析了。在实际生产环境中，还需要关注监控、性能优化以及安全性等方面的问题。
