Ambari接管线上Hadoop游戏数据集群实践资源-CSDN文库

89 浏览量 2021-02-25 03:33:13 上传评论收藏 622KB PDF 举报

资源推荐

资源详情

资源评论

Ambari接管线上接管线上Hadoop游戏数据集群实践游戏数据集群实践

生产环境中Hadoop集群现状

首先介绍我们生产环境中Hadoop集群的现状，Hadoop集群主要承担了数据接入存储、离线计算的职责，同时提供其上数据调

度等自研系统的基础服务。生产环境中Hadoop使用的版本是v2.7.3，下面介绍其主要组件。

首先HDFS采用了HA with QJM的高可用架构，即采用Standby Namenode热备、多节点协同同步Active/Standby

Namenodes(不同物理机器)之间元数据日志的方式，降低之前单点Namenode因为故障而导致的集群服务不可用的时间，提高

集群的可用性。并且如下图中，Active/StandBy Namenode节点各自运行了基于Zookeeper集群自动监控Namenodes状态、自

动选举保证集群Namenode只有一个处于Active状态的ZKFailoverController。

图1 HDFS HA with QJM

接着是用于集群资源分配与作业调度的Yarn框架，我们采用了Yarn的FairScheduler公平调度策略，并且根据不同业务线集群

使用成本投入占比，划分了作业执行队列以及队列使用的资源池，各个资源池合理定义了最大同时运行作业数、Min/Max可参

与分配的资源(Vcore数、mem大小)、动态竞争其他空闲队列资源池资源权重等参数，除开业务线使用的各队列之外，还定义

了Default的共享作业队列，分配其较小的资源用于保证其他一些例如集群数据的共享查询等应用。

图2 YARN FairScheduler 资源分配图

集群ETL离线作业处理与数据查询我们主要基于Hive，Hive是SQL on Hadoop的数据仓库工具，具备良好的类似以关系型数据

库的方式存储管理接入数据、提供对外数据处理接口特性，以Hive为基础我们打造了大数据中心，安全、简洁、便捷地统一接

入数据以及对外统一提供数据处理基础服务。并且在发展过程中，为了提高数据中心服务水平，我们将Hive版本升级至v2.1，

其HiveServer2服务能够更好支持并发和身份认证以及开放API客户端(如ODBC和JDBC)，且其更好支持内存计算(TEZ+LLAP)

也为后续升级提供了基础。

剩余11页未读，继续阅读

内容反馈

weixin_38563871

粉丝: 1
资源: 959

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip