没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业教育Hive学习总结及应用.pdf

Hive学习总结及应用.pdf

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

0 下载量 117 浏览量 2022-01-10 07:10:56 上传评论收藏 120KB PDF 举报

温馨提示

试读

16页

Hive学习总结及应用.pdf

资源详情

资源评论

精品文档

一、文档说明

熟悉 Hive 功能，了解基本开发过程，及在项目中的基本应用。

注意：本文档中但凡有 hive 库操作的语句，其后面的“； ”是语

句后面的，非文档格式需要。每个 hive 语句都要以“；”来结束，否

则将视相邻两个分号“； ”之间的所有语句为一条语句。

二、 Hive（数据提取）概述

Hive 是构建在 HDFS 和 Map/Reduce之上的可扩展的数据仓库。是

对 HADOOP的 Map-Reduce进行了封装，类似于 sql 语句（ hive 称之

为 HQL）计算数据从而代替编写代码对 mapreduce的操作，数据的来

源还是 HDFS上面的文件。

Hive 中的表可以分为托管表和外部表，托管表的数据移动到数据

仓库目录下，由 Hive 管理，外部表的数据在指定位置，不在 Hive 的

数据仓库中，只是在 Hive 元数据库中注册。创建外部表采用 “create

external tablename ”方式创建，并在创建表的同时指定表的位置。

Hive 本身是没有专门的数据存储格式，也没有为数据建立索引，

只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，

Hive 就可以解析数据。所以往 Hive 表里面导入数据只是简单的将数

据移动到表所在的目录中（如果数据是在 HDFS上；但如果数据是在

本地文件系统中，那么是将数据复制到表所在的目录中）。

精品文档

三、 Hive 的元数据

Hive 中的元数据包括表的名字，表的列和分区及其属性，表的

属性（是否为外部表等），表的数据所在目录等。由于 Hive 的元数

据需要不断的更新、修改，而 HDFS系统中的文件是多读少改的，这

显然不能将 Hive 的元数据存储在 HDFS中。目前 Hive 将元数据存储

在数据库中，如 Mysql、Derby 中。

Hive metastore 三种存储方式：

Hive 的 meta 数据支持以下三种存储方式，其中两种属于本地存

储，一种为远端存储。远端存储比较适合生产环境。

1、使用 derby 数据库存储元数据（内嵌的以本地磁盘作为存储），

这称为 “内嵌配置 ”。

这种方式是最简单的存储方式，只需要在 hive-default.xml 或

hive-site.xml 做如下配置便可。使用 derby 存储方式时，运行 hive

会在当前目录生成一个 derby 文件和一个 metastore_db 目录。这种

存储方式的弊端是在同一个目录下同时只能有一个 hive 客户端能使

用数据库，否则会提示如下错误（这是一个很常见的错误）。

2、使用本机 mysql 服务器存储元数据，这称为 “本地 metastore ”。

这种存储方式需要在本地运行一个 mysql 服务器，

3、使用远端 mysql 服务器存储元数据。这称为 “远程 metastore ”。

这种存储方式需要在远端服务器运行一个 mysql 服务器，并且需要在

Hive 服务器启动 meta 服务。

精品文档

四、 Hive 数据导入方式

1、从本地文件系统中导入数据到 Hive 表

hive> load data local inpath 'wyp.txt' into table wyp;

2、HDFS上导入数据到 Hive 表

hive> load data inpath '/home/wyp/add.txt' into table wyp;

3、从别的表中查询出相应的数据并导入到 Hive 表中

hive> insert into table test

> partition (age='25')

> select id, name, tel

> from wyp;

五、 Hive 数据导出方式

1、导出到本地文件系统

hive> insert overwrite local directory '/home/wyp/wyp'

> select * from wyp;

[boco@cloud216~]$hive -e "select * from wyp" >> local/wyp.txt

2、导出到 HDFS中

精品文档

hive> insert overwrite directory '/home/wyp/hdfs'

> select * from wyp;

3、导出到 Hive 的另一个表中

hive> insert into table test

> partition (age='25')

> select id, name, tel

> from wyp;

六、 HiveQL 的常用操作

HiveQL是一种类似 SQL的语言，它与大部分的 SQL语法兼容，但

是并不完全支持 SQL标准，如 HiveQL 不支持更新操作，也不支持索

引和事务，它的子查询和 join 操作也很局限。

#hive 启动

1、退出 hive

hive> quit;

2、查看数据库

hive> show databases;

3、创建数据库

hive> create database test;

4、创建数据库，并设置其存放的位置，注意该路径在 hdfs 下

hive> CREATE DATABASE financials

剩余15页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

Hive学习总结及应用.pdf

评论0

最新资源

Hive学习总结及应用.pdf

评论0

最新资源

相关推荐

02 Hive学习总结及应用.pdf

Hive学习.pdf

Hive学习资料.pdf

Hive学习笔记整理.pdf

02hive学习总结及应用.pdf

HIVE从入门到精通.pdf

hive学习总结 思维导图.xmind

Hive性能优化复习总结.doc.pdf

《Hive编程技术与应用》学习笔记.pdf

大数据学习：Hive函数.pdf

Hadoop Hive入门学习笔记.pdf

大数据学习：Hive简介.pdf

Hive体系架构安装与HiveQL，应用案例.pdf

apache-hive-2.1.1-bin.tar

5.Hive（上）--Hive介绍及部署.pdf

hive-default.xml.template

apache-hive-3.1.2-bin.tar.gz.zip

hive简介共5页.pdf.zip

大数据学习：Hive部署.pdf

深入学习Hive应用场景及架构原理

细细品味Hadoop_Hadoop集群（第14期）_Hive应用开发.pdf

IT十八掌_Hive阶段学习笔记(课堂笔记与优化总结)

hive-exec-1.2.1.spark2.jar

apache-hive-2.3.9-bin.tar大数据HIVE.zip

Hive语法及技术进阶.pdf

Hive用户手册中文版.pdf

hive-exec-2.1.1.jar

hive学习总结思维导图.xmind