大数据大数据:hive1
1:什么是hive:由facebook开源的用于解决海量结构化日志的数据统计
2：hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映谢成一张表，并提供类SQL查询功能。
本质：将Hql转化成mpareduce
其基本执行过程：
数据仓库通过sql进行统计分析——–>将SQL语言中常用的操作（select,where,group等）用mapreduce写成很多模板
所有的mapreduce模板封装在hive中—>通过hive框架匹配出相应的mapreduce模板—->运行mapreduece生成相应的分析结果
—>result->client—>用户根据业务需求编写相应的sql语句。
hive的优缺点：的优缺点：
优点：
1）操作接口采用类sql语法，提供快速开发的能力（简单、容易上行）
2）避免了去写mapreduce,减少开发人员的学习成本。
3）hive的执行延迟比较高，因此hive常用于数据分析，对实时性要求不高的场合。
4）hive的优势在于处理大数据，对于小数据没有优势，因为hive的执行延迟比较高
5）hive支持用户自定义函数，用户可以根据自已的需求来实现自已的函数。
缺点：
hive的hql表达有限：
迭代式算法无法表达
数据挖掘方面不擅长，由于mapreduce数据处理流程的限制，效率更高的算法却无法实现。
hive的效率比较低
hive自动自成的mapduce，通常情况下不够智能化
hive的调优比较困难，粒度较粗
hive架构原理：架构原理：
用户cli: 客户端工具有：cli ,jdbc/odbc，webui如zeepline,hue
元数据：metastore
元数据包括：
表名，表属性的数据库（默认default）、表的拥有者同，列/分区字段，表的类型（是否是外部表）表的数据所有的目录等
默认存在有自还带的derby数据库（建议永远不要用，单实例数据能干什么呢），推荐存储metastore
2hadooop使用hdfs进行存储，使用mapreduece进行计算
驱动器dirver
解析器：
sql parser :将字符串转换成语法树AST，这一步一般第三工具完成，比如antlr,对AST进行语法分析，比如表是否存在
,字段是否存在，sql语义是否有误
编译器：
将AST编译生成逻辑执行计划
优化器：
对逻辑执行计划进行优化
资源评论
weixin_38612095
- 粉丝: 10
- 资源: 921
最新资源
- 4-银行网点和从业人数-分地区（2007-2021年）.zip
- UniHackerV4.5
- 火与烟检测28-YOLO（v5至v9）、COCO、Darknet、TFRecord数据集合集.rar
- 基于DSP28377的三相并网双二阶锁相环DSOGI-PLL程序
- 1_MybatisProgram.zip
- Matlab实现RP-CNN-LSTM-Attention递归图优化卷积长短期记忆神经网络注意力机制的数据分类预测（含完整的程序，GUI设计和代码详解）
- fpga can控制器Verilog，节省你的电路板面积 ...altera、xilinx工程 均提供 ...标准帧、扩展帧 均提供 ...提供仿真激励文件testbench 资料包清单： 1.程序：
- 环保税税额一览表-各省份.zip
- 国网电力+GIM三维模型规约+变电站等三维模型设计解析所需参考规范
- STM32F103连接DHT11温湿度、微波生命雷达、红外体温、一氧化碳、液晶屏、wifi等传感器实现的老人病人护理监测仪.zip
- fpga 以太网w5500 SPI传输80MHz FPGA verilog TCP客户端驱动源码，8个SOCKET都可用，SPI频率80MHZ,硬件验证以通过 w5500 ip 核 w5500
- git安装-Git在Windows、Linux及Mac系统上的安装教程
- 火与烟检测29-YOLO（v5至v9）、COCO、CreateML、Darknet、Paligemma、TFRecord数据集合集.rar
- 网络实践1111111111111111
- 博客小程序+ssm.zip
- 课程答疑微信小程序+ssm.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
