HIve 安装部署手册
1. 系统介绍
1.1. 总体说明
大数据基础平台提供一套完整的基于分布式文件系统的海量数据处理的基
础设施,它采用分布式文件系统、列存储或混合存储、压缩、延迟加载等技术,
只需要较少的硬件设备投入即可提供对海量数据的存储能力;它可以解决传统
分析系统数据维度难以改变的问题,其在可伸缩性、健壮性、成本上具有无可
替代的优势。
Hive 作为数据 SQL 解析引擎,分析、处理数据;Hadoop 提供的分布式文
件系统(HDFS)作为数据文件的存储介质;Zookeeper 作为分布式协调服务器
存在,用于管理集群中各节点状态。
1.2. 软件版本
hive-1.1.0-cdh5.5.0
1.3. 网络与部署结构
hive 的安装其实有两部分组成,一个是 Server 端、一个是客户端,所谓服
务端其实就是 Hive 管理 Meta 的那个 Hive,服务端可以装在任何节点上,当 hive
服务并发量不高时推荐部署在数据节点上,并发量高时推荐单独部署在若干台
机器。
以下为 3 台管理节点,5 台数据节点的 Hadoop+Hive 集群规划方案
管理节点(主机名:e3base01、e3base02、e3base03
IP:192.168.58.101~192.168.58.103)
数据节点(主机名:e3base04~e3base08 IP:192.168.58.104~192.168.58.108)
第 4 页共 18 页
评论0
最新资源