大数据技术之Hive 大数据技术之Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是将HQL转化成MapReduce程序。Hive处理的数据存储在HDFS,分析数据底层的实现是MapReduce,执行程序运行在Yarn上。 Hive的优点包括: * 操作接口采用类SQL语法,提供快速开发的能力 * 避免了去写MapReduce,减少开发人员的学习成本 * 支持用户自定义函数,用户可以根据自己的需求来实现自己的函数 Hive的缺点包括: * Hive的HQL表达能力有限,无法表达迭代式算法 * 数据挖掘方面不擅长 * Hive的效率比较低,Hive自动生成的MapReduce作业通常情况下不够智能化 * Hive调优比较困难,粒度较粗 Hive的架构原理包括: * 用户接口:Client、CLI、JDBC/ODBC、WEBUI * 元数据:Metastore,包括表名、表所属的数据库、表的拥有者、列/分区字段、表的类型等 * Hadoop:使用HDFS进行存储,使用MapReduce进行计算 * 驱动器:Driver,包括解析器、编译器、优化器、执行器 Hive和数据库的差异包括: * 查询语言:Hive使用类SQL的查询语言HQL,而数据库使用SQL * 数据更新:Hive是不建议对数据进行改写的,而数据库中的数据通常是需要经常进行修改的 * 执行延迟:Hive的执行延迟比较高,数据库的执行延迟比较低 Hive的应用场景包括: * 数据仓库 * 数据分析 * 报表系统 * 数据挖掘 Hive的优化策略包括: * 优化HQL语句 * 优化MapReduce作业 * 优化数据存储方式 * 优化Hive的配置参数 Hive的开发工具包括: * Hive的命令行工具 * Hive的图形化界面 * Hive的API Hive的应用领域包括: * 数据分析 * 报表系统 * 数据挖掘 * 大数据处理 大数据技术之Hive是一个功能强大且灵活的数据仓库工具,可以快速开发数据分析和报表系统,但需要注意Hive的缺点和限制,以便更好地应用Hive技术。
![](https://csdnimg.cn/release/download_crawler_static/15545822/bg1.jpg)
![](https://csdnimg.cn/release/download_crawler_static/15545822/bg2.jpg)
![](https://csdnimg.cn/release/download_crawler_static/15545822/bg3.jpg)
![](https://csdnimg.cn/release/download_crawler_static/15545822/bg4.jpg)
![](https://csdnimg.cn/release/download_crawler_static/15545822/bg5.jpg)
剩余63页未读,继续阅读
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![avatar](https://profile-avatar.csdnimg.cn/9e8f851c7aa146d38b6a6c84d76a52ef_qq_32727095.jpg!1)
![avatar-vip](https://csdnimg.cn/release/downloadcmsfe/public/img/user-vip.1c89f3c5.png)
- 粉丝: 1w+
- 资源: 14
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)
评论0