没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据Hadoop06大数据技术之Hadoop（HA）V3.2.docx

06大数据技术之Hadoop（HA）V3.2.docx

需积分: 5 0 下载量 128 浏览量 2021-10-31 21:32:32 上传评论收藏 506KB DOCX 举报

温馨提示

试读

18页

大数据的高可用，配置方法详细步骤，企业中经常遇到的问题

资源推荐

资源详情

资源评论

大数据技术之 Hadoop（优化&新特性）

版本：V3.2

第 1 章 Hadoop HA 高可用

1.1 HA 概述

（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。

（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的

HA 机制：HDFS 的 HA 和 YARN 的 HA。

（3）NameNode 主要在以下两个方面影响 HDFS 集群

 NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启

 NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的

热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种

方式将 NameNode 很快的切换到另外一台机器。

1.2 HDFS-HA 集群搭建

当前 HDFS 集群的规划

hadoop102 hadoop103 hadoop104

NameNode Secondarynamenode

DataNode DataNode DataNode

HA 的主要目的是消除 namenode 的单点故障,需要将 hdfs 集群规划成以下模样

hadoop102 hadoop103 hadoop104

NameNode NameNode NameNode

DataNode DataNode DataNode

1.2.1 HDFS-HA 核心问题

1）怎么保证三台 namenode 的数据一致

a.Fsimage:让一台 nn 生成数据,让其他机器 nn 同步

b.Edits:需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

2）怎么让同时只有一台 nn 是 active，其他所有是 standby 的

a.手动分配

b.自动分配

3）2nn 在 ha 架构中并不存在，定期合并 fsimage 和 edtis 的活谁来干

由 standby 的 nn 来干

4）如果 nn 真的发生了问题，怎么让其他的 nn 上位干活

a.手动故障转移

b.自动故障转移

1.3 HDFS-HA 手动模式

1.3.1 环境准备

（1）修改 IP

（2）修改主机名及主机名和 IP 地址的映射

（3）关闭防火墙

（4）ssh 免密登录

（5）安装 JDK，配置环境变量等

1.3.2 规划集群

hadoop102 hadoop103 hadoop104

NameNode NameNode NameNode

JournalNode JournalNode JournalNode

DataNode DataNode DataNode

1.3.3 配置 HDFS-HA 集群

1）官方地址：http://hadoop.apache.org/

2）在 opt 目录下创建一个 ha 文件夹

[atguigu@hadoop102 ~]$ cd /opt

[atguigu@hadoop102 opt]$ sudo mkdir ha

[atguigu@hadoop102 opt]$ sudo chown atguigu:atguigu /opt/ha

3）将/opt/module/下的 hadoop-3.1.3 拷贝到/opt/ha 目录下（记得删除 data 和 log 目录）

[atguigu@hadoop102 opt]$ cp -r /opt/module/hadoop-3.1.3 /opt/ha/

4）配置 core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/ha/hadoop-3.1.3/data</value>

</property>

</configuration>

5）配置 hdfs-site.xml

<name>dfs.namenode.name.dir</name>

<value>file://${hadoop.tmp.dir}/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file://${hadoop.tmp.dir}/data</value>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>${hadoop.tmp.dir}/jn</value>

</property>

<name>dfs.nameservices</name>

<value>mycluster</value>

</property>

<name>dfs.ha.namenodes.mycluster</name>

</property>

剩余17页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

andycao1

粉丝: 7
资源: 4

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

06大数据技术之Hadoop（HA）V3.2.docx

大数据技术之Hadoop(入门).docx

大数据技术之Hadoop（入门）.docx

大数据技术Hadoop笔试题.doc.docx

大数据技术之Hadoop.docx

大数据时代Hadoop和Spark技术研究.docx

大数据技术之Hadoop-HA.txt

尚硅谷大数据技术之Hadoop（入门）1

基于Hadoop的大数据处理技术及发展.pdf

大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt

《Hadoop大数据技术与应用》-Hadoop环境搭建.docx

Hadoop大数据技术简介.docx

《Hadoop大数据技术》课程理论教学大纲.docx

大数据技术_Hadoop

大数据技术Hadoop面试题 (2).docx

基于Hadoop的大数据处理系统.pdf

大数据技术之高频面试题.docx

大数据Hadoop相关技术

大数据分析及Hadoop应用

大数据Hadoop

关于大数据Hadoop的服务器配置文档

spark-3.1.2-bin-hadoop3.2.tgz

最新资源