没有合适的资源?快使用搜索试试~ 我知道了~
目录 1 Hive 概念与连接使用: 2 2 Hive支持的数据类型: 2 2.1原子数据类型: 2 2.2复杂数据类型: 2 2.3 Hive类型转换: 3 3 Hive创建/删除数据库 3 3.1创建数据库: 3 3.2 删除数据库: 3 4 Hive 表相关语句 3 4.1 Hive 建表: 3 4.1.1使用LIKE关键字创建一个与已有表模式相同的新表: 4 4.2 Hive 修改表 4 4.2.1 Hive 新增一个字段: 4 4.2.2 Hive 修改字段名/字段类型/字段位置/字段注释: 4 4.2.3 Hive 重命名表名: 4 4.3Hive 删除表: 4 5 Hive 分区 4 5.1 Hive 添加分区 4 5.2 Hive 删除分区 5 6 SHOW语句 5 7 DESCRIBE语句 5 8 加载数据 5 9表连接 6 10 子查询 6 11 UNION ALL 6 12 Hive使用注意点: 6 13 Hive优化 9
资源推荐
资源详情
资源评论
1
目录
1 Hive 概念与连接使用: .................................................................................................................2
2 Hive 支持的数据类型: ...............................................................................................................2
2.1 原子数据类型: ................................................................................................................2
2.2 复杂数据类型: ................................................................................................................2
2.3 Hive 类型转换: ................................................................................................................3
3 Hive 创建/删除数据库..................................................................................................................3
3.1 创建数据库: .......................................................................................................................3
3.2 删除数据库: ......................................................................................................................3
4 Hive 表相关语句 .........................................................................................................................3
4.1 Hive 建表: .......................................................................................................................3
4.1.1 使用 LIKE 关键字创建一个与已有表模式相同的新表: .....................................4
4.2 Hive 修改表 .......................................................................................................................4
4.2.1 Hive 新增一个字段: ............................................................................................4
4.2.2 Hive 修改字段名/字段类型/字段位置/字段注释: ............................................4
4.2.3 Hive 重命名表名: ...................................................................................................4
4.3Hive 删除表: ....................................................................................................................4
5 Hive 分区 ......................................................................................................................................4
5.1 Hive 添加分区 ...................................................................................................................4
5.2 Hive 删除分区 ...................................................................................................................5
6 SHOW 语句....................................................................................................................................5
7 DESCRIBE 语句...............................................................................................................................5
8 加载数据 ......................................................................................................................................5
9 表连接 ...........................................................................................................................................6
10 子查询 ........................................................................................................................................6
11 UNION ALL ...................................................................................................................................6
12 Hive 使用注意点: ........................................................................................................................6
13 Hive 优化 .....................................................................................................................................9
2
Hive 使用手册
1 Hive 概念与连接使用:
Hive 是一个构建在 Hadoop 上的数据仓库框架,它把数据组织成表,通过这
种方式为存储在 HDFS 的数据赋予结构。Hive 的设计目的是让精通 SQL 技能(但
Java 编程技能相对较弱)的分析师能够在 HDFS 上存放的大规模数据集上运行查
询。一般情况下,Hive 在工作站上运行,它把 SQL 查询转换为一系列在 Hadoop
集群上运行的 MapReduce 作业。
2 Hive 支持的数据类型:
Hive 支持原子和复杂数据类型。原子数据类型包括数值型、布尔型和字符
串类型。复杂数据类型包括数组、映射和结构。
2.1 原子数据类型:
数值型包括 TINYINT、SMALLINT、INT、BIGINT、FLOAT 以及 DOUBLE 型(红
色标注为常用数值类型)。
Hive 的浮点类型和数据库不同,它不提供浮点数值控制有效数字或小数位
位置的选项。但它提供了一些内置函数来取整(如 round、floor、ceil 函数)
或保留几位小数(如 round(double a,int d):小数部分 d 位之后数字四舍五入)
涉及到 Unix 时间戳的时候,此字段选取字符串 STRING 类型,Hive 提供了
把 Unix 时间戳(以整型存放)到字符串的转换函数。(详见 hive 函数参考手册:
http://www.cnblogs.com/end/archive/2012/06/18/2553682.html)譬如,
c_time 的内容是时间戳类型,我们在 Hive 中设为 STRING 类型,采用如下方式
可将它从 13 位时间戳形式(1396281562143)转换为特定字符串形式的时间
(2014-03-31 23:59:22):
FROM_UNIXTIME(CAST(SUBSTR(c_time, 1, 10) AS BIGINT), 'yyyy-MM-dd
HH:mm:ss')
2.2 复杂数据类型:
Hive 有三种复杂数据类型:ARRAR、MAP 和 STRUCT。ARRAY 和 MAP 和 Java 中
的同名数据类型类似,而 STRUCT 是一种记录类型,它封装了一个命名的字段集
合。复杂数据类型允许任意层次的嵌套。复杂数据类型声明必须使用尖括号符号
指明其中数据字段的类型。
示例:
CREATE TABLE complex(
3
col1 ARRAY<INT>,
col2 MAP<STRING, INT>,
col3 STRUCT<a:STRING, b:INT, c:DOUBLE>
);
2.3 Hive 类型转换:
原子数据类型形成了一个 Hive 进行隐式类型转换的层次。隐式类型转换规
则:任何整数类型都可以隐式地转换为一个范围更广的类型。但是,Hive 不会
进行反向转换,它会返回错误,除非使用 CAST 操作显示进行数据类型转换(如
CAST('1' AS INT)将把字符串'1'转换成整数值 1。如果强制类型转换失败,那表
达式会返回空值 NULL,如执行 CAST('X' AS INT))。
3 Hive 创建/删除数据库
3.1 创建数据库:
CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
3.2 删除数据库:
DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE]
4 Hive 表相关语句
4.1 Hive 建表:
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[ROW FORMAT row_format]
--指定行格式,行格式是指行和一行中的字段如何存储,Hive 表中的分
隔符只支持一个字符,字段分割符默认是\001,即 ASCII 码的第一个字符
Control-A;行分割符是换行符。
[STORED AS file_format]
--指定文件格式,hive 默认支持三种从存储格式,当然用户根据需要可
剩余11页未读,继续阅读
资源评论
白杨Shayne
- 粉丝: 4548
- 资源: 25
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功