Hadoop2.2.0集群安装
4星 · 超过85%的资源 需积分: 9 132 浏览量
2013-11-29
17:08:39
上传
评论 1
收藏 881KB DOCX 举报 
Hadoop 最新安装手册
一、Hadoop2.2.0 完全分布式集群平台安装设置：
HDFS HA 架构：
在一个典型的 HDFS HA 场景中，通常由两个 NameNode 组成，一个处于 acve 状态，另一个处于
standby 状态。Acve NameNode 对外提供服务，比如处理来自客户端的 RPC 请求，而 Standby NameNode
则不对外提供服务，仅同步 acve namenode 的状态，以便能够在它失败时快速进行切换。
为了能够实时同步 Acve 和 Standby 两个 NameNode 的元数据信息（实际上 editlog），需提供一个
共享存储系统，可以是 NFS、QJM（Quorum Journal Manager）或者 Bookeeper，Acve Namenode 将数据
写入共享存储系统，而 Standby 监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内
存中，以保证自己内存状态与 Acve NameNode 保持基本一致，如此这般，在紧急情况下 standby 便可快
速切为 acve namenode。
注意，在 Hadoop 2.0 中，不再需要 secondary namenode 或者 backup namenode，它们的工作由
Standby namenode 承担。
本文将重点介绍基于 QJM 的 HA 解决方案。在该方案中，主备 NameNode 之间通过一组 JournalNode
同步元数据信息，一条数据只要成功写入多数 JournalNode 即认为写入成功。通常配置奇数个（2N+1）个
JournalNode，这样，只要 N+1 个写入成功就认为数据写入成功，此时最多容忍 N-1 个 JournalNode 挂掉，
比如 3 个 JournalNode 时，最多允许 1 个 JournalNode 挂掉 ，5 个 JournalNode 时，最多允许 2 个
JournalNode 挂掉。基于 QJM 的 HDFS 架构如下
剩余15页未读，继续阅读
评论2
最新资源