hive的安装.pdf

Hive 是一个基于 Hadoop 的数据仓库工具，它允许用户使用 SQL 类似的查询语言（HQL）来处理存储在 Hadoop 分布式文件系统（HDFS）中的大数据集。本文将详细介绍如何在 Linux 环境下安装 Hive，包括嵌入式模式、本地模式和远程模式。 **一、嵌入式模式的安装步骤** 1. **下载安装包**：你需要访问 Apache 官方网站（archive.apache.org/dist/hive/hive-1.2.1/）下载 Hive 的安装包，例如 `apache-hive-1.2.1-bin.tar.gz`。 2. **上传安装包**：使用 `rz` 命令将安装包上传到 Linux 系统的 `/export/software` 目录下，这里假设你的服务器是 `hadoop01`。 3. **解压安装包**：使用 `tar` 命令解压安装包到 `/export/servers` 目录下，命令如下： ``` $ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers ``` 4. **切换目录**：进入 Hive 的安装目录。 ``` $ cd /export/server/apache-hive-1.2.1-bin ``` 5. **运行 Hive**：执行 `bin/hive` 命令启动 Hive 交互式 shell。 6. **验证安装**：在 Hive 的交互界面，你可以通过 `show databases;` 命令查看默认的数据仓库。 **二、本地模式和远程模式** 在本地模式和远程模式下，Hive 使用外部数据库（如 MySQL）作为元数据存储，以实现更高级别的持久性和并发性。 1. **安装 MySQL 服务**： - 使用 `yum install` 命令安装 MySQL 及其相关组件。 - 启动 MySQL 服务：`/etc/init.d/mysqld start` - 登录 MySQL：`mysql` - 修改 root 用户的密码：`mysql > USE mysql;`，然后 `mysql > UPDATE user SET Password = PASSWORD('123456') WHERE user = 'root';` - 允许 root 用户远程登录：`mysql > GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;` - 强制应用更改：`mysql > FLUSH PRIVILEGES;` 2. **配置 Hive**： - **修改 `hive-env.sh`**：在 `/export/server/apache-hive-1.2.1-bin/conf` 目录下，复制 `hive-env.sh.template` 为 `hive-env.sh`，然后使用 `vi` 编辑器打开，设置 `HADOOP_HOME` 变量，例如 `export HADOOP_HOME=/export/servers/hadoop-2.7.4`。 - **创建 `hive-site.xml`**：添加一个新的配置文件 `hive-site.xml`，包含以下内容： ```xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>MySQL 连接协议</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>JDBC 连接驱动</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>用户名</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> <description>密码</description> </property> </configuration> ``` - **上传 JDBC 驱动**：将 `mysql-connector-java-5.1.46.jar` 文件上传到 Hive 的 `lib` 目录，以便 Hive 能够连接到 MySQL。 3. **远程模式**：在远程模式下，只需将 `hive-site.xml` 中的 `localhost` 替换为 MySQL 服务的实际节点 IP 地址。 在完成这些步骤后，Hive 就可以在本地或远程模式下使用了。确保所有配置正确无误，并根据需要调整配置以适应不同的集群环境。在实际操作中，可能还需要配置 Hadoop 的相关环境变量，以及确保 Hadoop 集群已经正确运行，以便 Hive 能够正常访问 HDFS 中的数据。此外，如果 Hive 用于生产环境，还应考虑设置适当的权限和安全措施，例如使用更复杂的密码和限制对元数据的访问。