hadoop hive入门学习总结

Hadoop Hive 是一个基于 Hadoop 的数据仓库工具，用于处理和分析大量分布式数据。它提供了SQL-like查询语言，称为HQL，使得非程序员也能方便地进行大数据分析。以下是对Hadoop Hive入门学习的详细总结： ### 1. Hive 安装与部署 #### 1.1 环境需求 在开始Hive的安装之前，确保你已经具备了以下基础环境： - **JDK 1.6** 或更高版本：Hive依赖Java运行环境，所以首先需要安装并配置好JDK。 - **Hadoop 0.20.X** 或更高版本：Hive是构建在Hadoop之上的，因此需要先安装并运行Hadoop集群。 #### 1.2 安装步骤 1. 解压Hive的安装包，例如： ``` tar zxvf hive-0.8.1-bin.tar.gz ``` 2. 将解压后的文件移动到指定目录，例如： ``` sudo mkdir /home/hive cd /home/hive sudo mv /mnt/hgfs/sharedir/hive-0.8.1-bin ./ ``` 3. 配置环境变量，打开`~/.bashrc`文件并在末尾添加： ``` export HIVE_HOME=/home/hive/hive-0.8.1-bin export PATH=${HIVE_HOME}/bin:${PATH} ``` 4. 应用设置，使新的环境变量生效： ``` source ~/.bashrc ``` 5. 执行`hive`命令，进入Hive Shell界面，确认安装成功。 ### 2. 测试Hive #### 2.1 创建表 在Hive Shell中，可以使用SQL语句创建表。例如创建名为`studyinfo`和`score`的表： ```sql CREATE TABLE studyinfo ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; CREATE TABLE score ( id INT, subject STRING, grade INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` #### 2.2 生成测试数据 使用Perl或其他脚本语言创建测试数据文件，并按照字段分隔符（如逗号）组织数据。 #### 2.3 导入数据 将生成的测试数据文件上传到HDFS，然后使用`LOAD DATA`命令将数据导入Hive表中，例如： ```sql LOAD DATA LOCAL INPATH '/path/to/studyinfo.txt' INTO TABLE studyinfo; LOAD DATA LOCAL INPATH '/path/to/score.txt' INTO TABLE score; ``` #### 2.4 查看数据 使用`DESCRIBE`或`SELECT`语句检查数据是否正确导入并存储在HDFS中： ```sql DESCRIBE studyinfo; SELECT * FROM studyinfo LIMIT 10; ``` ### 3. 解决查询错误 如果在查询时遇到“FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))”，这通常是由于Hadoop配置问题导致的。解决方法如下： 1. 检查`core-site.xml`配置，确保`fs.defaultFS`的值设置为Master节点的hostname，而不是IP地址。 2. 确保所有集群节点的`/etc/hosts`文件中都有正确的主机名映射，保持一致。 3. 如果其他配置文件中使用了IP地址，确保这些IP与`/etc/hosts`中的映射匹配。 4. 重启Hadoop服务，以应用更改： ``` hadoop dfsadmin -safemode leave ``` 完成上述步骤后，你应该能够正常运行Hive查询而不会遇到内部错误。 通过以上步骤，你已经成功入门了Hadoop Hive，可以进一步学习Hive的数据类型、函数、分区、桶等高级特性，以及如何与其他Hadoop组件如HBase、Spark等集成，以实现更高效的数据处理和分析。