【HDFS篇11】HA高可用1
需积分: 0 49 浏览量
2022-08-04
16:03:27
上传
评论
收藏 684KB PDF 举报
先达到极限，然后再突破它
HA高可用
HA概述
1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。
2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA
和YARN的HA。
3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。
4. NameNode主要在以下两个方面影响HDFS集群
NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启
NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用
HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热
备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式
将NameNode很快的切换到另外一台机器。
HDFS-HA工作要点
1.元数据管理方式需要改变
内存中各自保存一份元数据；Edits日志只有Active状态的NameNode节点可以做写操作；两个
NameNode都可以读取Edits；共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实
现）；
2.需要一个状态管理功能模块
实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己
所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切
换，切换时需要防止brain split现象的发生。
3.必须保证两个NameNode之间能够ssh无密码登录
4.隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务
HDFS-HA自动故障转移工作机制
手动转移命令
hdfs haadmin -failover
但是手动转移不够方便，我们需要配置自动故障转移，自动故障转移为HDFS部署增加了两个新组件
ZooKeeper和ZKFailoverController（ZKFC）进程
HA的自动故障转移依赖于ZooKeeper的以下功能：
故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，
ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。
史努比狗狗
- 粉丝: 25
- 资源: 318
最新资源
- 5uonly.apk
- 2023-04-06-项目笔记 - 第一百十九阶段 - 4.4.2.117全局变量的作用域-117 -2024.04.30
- 2023-04-06-项目笔记 - 第一百十九阶段 - 4.4.2.117全局变量的作用域-117 -2024.04.30
- 前端开发技术实验报告：内含4四实验&实验报告
- Highlight Plus v20.0.1
- 林周瑜-论文.docx
- 基于MIC+NE555光敏电阻的声光控电路Multisim仿真原理图
- 基于JSP毕业设计-基于WEB操作系统课程教学网站的设计与实现（源代码+论文）.zip
- 基于LM324和LM386的音响放大器Multisim仿真+PCB电路原理图
- Python机器学习与数据挖掘环境配置与库验证
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0