没有合适的资源?快使用搜索试试~ 我知道了~
Hive用户手册中文版.pdf
5星 · 超过95%的资源 需积分: 50 219 下载量 182 浏览量
2018-03-22
12:01:16
上传
评论 6
收藏 1.23MB PDF 举报
温馨提示
试读
62页
Hive用户手册中文版.pdf, 快速上手学会操作hive数据库,又快又好的cookbook!!
资源推荐
资源详情
资源评论
1"
"
!
!
Hive
用户指南
v1.0
"
2"
"
目录
1." HIVE 结构"................................................................................................................................."5"
1.1" HIVE 架构"..................................................................................................................."5"
1.2" Hive 和 Hadoop 关系"................................................................................................"6"
1.3" Hive 和普通关系数据库的异同"................................................................................"7"
1.4" HIVE 元数据库"............................................................................................................."8"
1.4.1" DERBY"..............................................................................................................."8"
1.4.2" Mysql"................................................................................................................"9"
1.5" HIVE 的数据存储"....................................................................................................."10"
1.6" 其它 HIVE 操作"........................................................................................................"10"
2." HIVE" 基本操作"......................................................................................................................"11"
2.1" create table".................................................................................................................."11"
2.1.1" 总述"................................................................................................................"11"
2.1.2" 语法"................................................................................................................"11"
2.1.3" 基本例子"........................................................................................................"13"
2.1.4" 创建分区"........................................................................................................"14"
2.1.5" 其它例子"........................................................................................................"15"
2.2" Alter Table".................................................................................................................."16"
2.2.1" Add Partitions"............................................................................................"16"
2.2.2" Drop Partitions".........................................................................................."16"
2.2.3" Rename Table"................................................................................................"16"
2.2.4" Change Column".............................................................................................."17"
2.2.5" Add/Replace Columns".................................................................................."17"
2.3" Create View"................................................................................................................"17"
2.4" Show"..........................................................................................................................."18"
2.5" Load"............................................................................................................................"18"
2.6" Insert"..........................................................................................................................."20"
2.6.1" Inserting data into Hive Tables from queries"................................."20"
2.6.2" Writing data into filesystem from queries"......................................."21"
2.7" Cli"..............................................................................................................................."22"
2.7.1" Hive Command line Options"......................................................................"22"
2.7.2" Hive interactive Shell Command"............................................................"23"
2.7.3" Hive Resources"............................................................................................"24"
2.7.4" 调用 python、shell 等语言"........................................................................"25"
2.8" DROP"............................................................................................................................"26"
2.9" 其它"............................................................................................................................"26"
2.9.1" Limit".............................................................................................................."26"
2.9.2" Top k".............................................................................................................."26"
2.9.3" REGEX Column Specification"...................................................................."26"
3." Hive"Select".............................................................................................................................."27"
3.1" Group By"...................................................................................................................."27"
3.2" Order /Sort By"........................................................................................................"28"
4." Hive"Join"................................................................................................................................."28"
3"
"
5." HIVE 参数设置"......................................................................................................................."31"
6." HIVE"UDF"................................................................................................................................"32"
6.1" 基本函数"...................................................................................................................."32"
6.1.1" 关系操作符"................................................................................................ ...."32"
6.1.2" 代数操作符"................................................................................................ ...."34"
6.1.3" 逻辑操作符"................................................................................................ ...."35"
6.1.4" 复杂类型操作符"............................................................................................"35"
6.1.5" 内建函数"........................................................................................................"35"
6.1.6" 数学函数"........................................................................................................"35"
6.1.7" 集合函数"........................................................................................................"35"
6.1.8" 类型转换"........................................................................................................"35"
6.1.9" 日期函数"........................................................................................................"35"
6.1.10" 条件函数"........................................................................................................"36"
6.1.11" 字符串函数"................................................................................................ ...."36"
6.2" UDTF"........................................................................................................................."38"
6.2.1" Explode"................................ ........................................................................."39"
7." HIVE" 的 MAP/REDUCE"................................................................................................ ..........."40"
7.1" JOIN"............................................................................................................................"40"
7.2" GROUP"BY"..................................................................................................................."41"
7.3" DISTINCT"....................................................................................................................."41"
8." 使用 HIVE 注意点".................................................................................................................."42"
8.1" 字符集"........................................................................................................................"42"
8.2" 压缩"............................................................................................................................"42"
8.3" count(distinct)"......................................................................................................"42"
8.4" JOIN"............................................................................................................................"42"
8.5" DML 操作"................................................................ ....................................................."43"
8.6" HAVING"........................................................................................................................"43"
8.7" 子查询"........................................................................................................................"43"
8.8" Join 中处理 null 值的语义区别"............................................................................."43"
9." 优化与技巧"............................................................................................................................"46"
9.1" 全排序"........................................................................................................................"46"
9.1.1" 例 1"................................................................................................................."47"
9.1.2" 例 2"................................................................................................................."50"
9.2" 怎样做笛卡尔积"........................................................................................................"53"
9.3" 怎样写 exist/in 子句"................................................................ .............................."53"
9.4" 怎样决定 reducer 个数"............................................................................................"54"
9.5" 合并 MapReduce 操作"................................................................................................"54"
9.6" Bucket'
与
' sampling".................................................................................................."55"
9.7" Partition"................................ ......................................................................................"56"
9.8" JOIN"............................................................................................................................"57"
9.8.1" JOIN 原则"......................................................................................................."57"
9.8.2" Map"Join"......................................................................................................... "57"
9.8.3" 大表 Join 的数据偏斜"...................................................................................."59"
9.9" 合并小文件"................................................................................................................"61"
4"
"
9.10" Group"By"....................................................................................................................."61"
10." HIVE"FAQ:"................................................................ ....................................................."61"
5"
"
1. HIVE
结构
!
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数
据提取转化加载(ETL), 这 是 一 种 可 以 存 储 、 查 询 和 分 析 存 储 在 Hadoop 中的大规模数据的
机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。
同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理
内建的 mapper 和 reducer 无法完成的复杂的分析工作。
1.1 HIVE
架构
Hive 的结构可以分为以下几部分:
• 用户接口:包括 CLI, Client, WUI
• 元数据存储。通常是存储在关系数据库如 mysql, derby 中
剩余61页未读,继续阅读
资源评论
- 砖厂码农2019-05-29very good!
- kejian_clear2019-05-06不错,很有用
- freefree602020-04-21找了很久 不错的 谢谢提供
xqg_5083
- 粉丝: 12
- 资源: 24
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功