没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据HiveHive总结.docx

Hive总结.docx

hive

hadoop

sql

需积分: 12 3 下载量 177 浏览量 2021-06-12 09:18:04 上传评论收藏 1.57MB DOCX 举报

温馨提示

试读

38页

Hive原理/Hive SQL/Hive 函数/数据仓库分层和建模/Hive sql优化/数据倾斜

资源推荐

资源详情

资源评论

Hive

1.Hive 原理介绍

1.1Hive 介绍

 大数据仓库解决方案，基于  平台搭建的数据仓库

英文名称为 ，可简写为 。

面向分析的存储系统(面向数据分析的存储系统）

数据库与数据仓库的区别？

数据库

 面向事务性操作

 响应及时

 数据量不大

数据仓库

 面向分析操作

 存储历史数据

 数据量大

 响应不及时

Hive 解决什么问题 Oracle -- 传统数据仓库搭建

在  项目中，HDFS 解决了文件分布式存储的问题，MapReducce 解决了

数据处理分布式计算的问题，Hbase 解决了数据的存储和检索。

但是要对  上的文件或者  上的表进行查询的时候，要手工写一堆的

，这只能由懂  的程序员操作，对于业务人员或数据科学家，

非常不方便。因为他们已经习惯了通过  跟 （关系数据库管理系统）打交

道，因此如果有  查询文件和数据就显得很有必要，这就是  要满足的需求。

  是一个  解析引擎，将  语句转译成  ，然后再  平

台上运行，达到快速开发的目的。

  本身不存储数据，它完全依赖  和 。

  的内容是读多写少，不支持对数据的改写和删除

!解决海量数据分布式存储问题，基于  平台搭建的数据仓库

!表面 

!计算计算引擎 "#$

!资源 %&&&

!存储 

1.2Hive 原理

 原理详解：'()&)&("*(

+,-./.-012234/5+4/5//4/55

4/5//4/5.64/5//7-//0-+8,77-+98/-507-..74/5//4/5/:

4/5//4/5//4/5.6

4/5///8708+7.)7.878/..0))4/5//4/5+;237-//0-+8,77

-+98/-507-..7;#238;23)22)

&&$(/<<&<=/

+,-./.-0)>2&$2/22&$2/,;234?549?4,

4?+4,849-;37879)///-).887)079+

Hive 的基本工作，简单提炼一下来表述，就是将结构化的数据映射为一张

数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为

MapReduce 任务进行运行。

1.2.1 分层

7)用户接口

:@ :A&

/)

/提供客户端认证服务

元数据可以部署为 % 或嵌入式数据库 



 解析器

 优化器

 执行器

.):

计算 #$

资源 &&

存储 =

/)分析 )B

)BBB'

表存放的  目录地址 C&(

元数据存放的地址 %!!D''

1.2.2 工作原理

7) 接收  语句；

/) 进行词法分析和语法分析；

.) 进行语义分析；

0) 生成逻辑计划，得到算子树；

5) 逻辑计划优化。对算子树进行优化，包括剪枝和谓词下推等；

-) 物理计划生成。将逻辑计划生产出包含由  任务组成的 6E 的物

理计划；

+) 物理计划执行。将 6E 发送到  集群进行执行；

9) 将查询结果返回。

1.2.3 Hive 的用户接口

7) :@（ 命令行）：客户端可以直接在命令行模式下进行操作。通过命

令行，用户可以定义表、执行查询等。如果没有指定其他服务，这个就是默认

的服务。

/) @（ 接口）： 提供了更直接的  界面，可以执行查询语

句和其他命令，这样可以不用登陆到集群中的某台机器上使用 :@ 来进行查询。

.) "=（即 ）：用于监听来自于其他进程的 "= 连接的一

个守护进程。"= 客户端目前支持 :FF G& 等语言。

1.2.4 Hive 创建表和处理数据的操作

（1）Hive 创建表的过程

第一步：解析用户提交的  语句，进行解析，分解为表、字段、分区等

 对象；

第二步：根据解析到的信息构建对应的表、字段、分区等对象。

（2）Hive 元数据的三种存储模式

模式一：单用户模式；

模式二：多用户模式；

模式三：远程服务器模式。

 中的数据，分为表数据和元数据。表数据是  表格（"）中

具有的数据，而元数据是用来存储表的名字、表的列、表分区及其属性以及

表的数据所在目录等。

1.3 Hive 安装

6H6!H:

官方网站 6 安装

7)下载  二进制包

/)解压

.)配置 @I?2J? 到环境变量

0)6JJG2J? 配置到 &)

5)为  创建  目录

==$

==$C

==(FC

==(FCC

-)BBB

+))&

2.Hive Sql

参考资料：'CCC)&()&0.0-.50)



!!文档

8. 基础应用

操作分类具体操作 sql 备注



K建表

K删除表

K修改表结构

K创建删除视图

K创建数据库

K显示命令

:6

:"&"

6"G&:&

:6IC

:@&B

:&&

C



K数据插入

L&MN

)))&

&C



K数据查询LN

2.1 DDL

2.1.1 建表说明

元数据'描述数据的数据

表分类：主要分内表和外表

剩余37页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

丶圣杰

粉丝: 1
资源: 1

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Hive总结.docx

大数据技术基础实验报告-Hive安装配置与应用.doc

hive文档.docx

hive实验报告.docx

Hive优化.docx

Hive随笔.docx

大数据实验六实验报告：熟悉Hive的基本操作

hive学习总结 思维导图.xmind

Hive总结讲义

Hive学习总结及应用.pdf

Hive性能优化总结

Hive知识总结.pptx

Hive指南.docx

HIVE语法.docx

hive优化.docx

大数据技术学习笔记之Hive.docx

hive函数.docx

hive操作.docx

03_Hive.docx

大数据技术之Hive.docx

Hive 教程.docx

Hive SQL语法总结

云计算HIVE使用.docx

大数据技术之Hive-v3.1.2.docx

hive常用运算和函数.docx

Hive调优全方位指南.docx

Hive大数据倾斜总结

Apache Hive 中文手册.docx

（Hive编程应用2）.docx

Hive配置和基本操作.docx

最新资源

hive学习总结思维导图.xmind