HIVE文档，大数据离线技术基础
需积分: 8 48 浏览量
2022-09-08
08:38:34
上传
评论
收藏 8.14MB DOC 举报
大数据技术之 Hive
数据仓库-面向分析-为企业提供决策
数据仓库，是一个用于存储、分析、报告的数据系统。
数据仓库本身不产生任何数据，数据来源来源于不同的外部系统
OLAP - 面向分析系统 数据仓库是 OLAP 的一种
OLTP - 关系型数据库
第 1 章 Hive 基本概念
Hive 主要做数据分析，主要应用场景一次写入多次读取。
1.1 什么是 Hive----HQL
1) hive 简介
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。
Hive 是基于 Hadoop 的一个数据仓库（类似于数据库，存储数据要分类的）工具，可以
将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。其实 Hive 就是 hadoop 的一
个客户端。
数据仓库本身不生产任何数据，他的数据来源于外部。同时自身也不消费数据，只供外
部应用。
我们不生产任何数据，只做数据的搬运工。
数据仓库针对一段历史的数据进行分析，而数据库是实时的数据
数据仓库在设计的时候有意引入冗余，而数据库要避免冗余。
数据仓库是为了分析数据，数据库是为了捕获数据。
2) Hive 本质是：将 HQL 转化成 MapReduce 程序
写 MR 大多数是枯燥且乏味的。处理核心代码，如 map 或者 reduce 中的代码是重要的，
其他的例如 job 都是固定格式，而 hive 的出现就是解决这个枯燥的问题的。他的内部封装了
好多 MR 的模板，我们需要做的就是传一条 hql 语句就得到最后的分析结果。大大减少了我
们的代码量。
剩余157页未读，继续阅读
评论0
最新资源