大数据时代zookeeper分布式协调工具

所需积分/C币:9 2018-12-15 14:40:48 1.74MB PDF
35
收藏 收藏
举报

一、分布式协调技术概述: 二、zookeeper概述: 三、zookeeper提供的功能: 四、zookeeper工作角色: 五、ZooKeeper搭建Hadoop的HA集群: 六、案例:搭建hadoop2.7.6结合zookeeper-3.4.10完全分布式存储集群
资源由www.eimhe.com美河学习在线收集分享 d/NameService / Server H/Serverl I /Configuration GrourMembers /Member I I /Member2 A Pps /Appl /App2 App 3 SubApp1 /SubApp 2通知机制:客户端注册监听亡关心的目录节点,当目录节点发生变化(数据改变、被删除、 子目录节点增加删除)时, zookeeper会通知客户端; 四、z0 keeper工作角色: 角色: 角色 描述 领导者〔 Leader) 领导者负责进行投票的发起和决议,更新系统状态炉 跟随者。Wer用于接收客户请求并向客户端返回结果,在选 学习(Fowe)主过程中参与投票 observer可以接收客户端连接,将写请求转发给| eader Learners 观察者4 节点。但 observer不参加投票过程,只同步 leader的 (Observer 状态。 bserver的目的是为了扩展系统,提高读取速度 客户端(cen)请求发起方 工作流程 资源由www.eimhe.com美河学习在线收集分享 Zookeeper集群 Folle Server Server Server Server Server I□o 数据 选 Client( Client Client ClientClient( Client Client Client 选举机制 ZooKeeper数据模型 /Mast master-o0001 Master A /master-00002Master B keeper 选举 注册 注唇 编号最小的节点将 在选举中获胜,获 主节点A 主节点B得锁成为主节点 Master Master 实例 实例 sa 实例 实例 从节点 从节点 4 资源由www.eimhe.com美河学习在线收集分享 Zookeeper数据模型 Mtcr真 /master-0000 Master ZooKeeper 选举 注册 编号最小的节点将 在选举中获胜,获 主节点A 主节点B得锁成为主节点 MEster 实例 故时 slave slave 实例 实例 从节点 从节点 五、 ZooKeeper搭建 Hadoop的HA集群: HA- High Availab|e高可用概述:在 Hadoop2.0之前,在HDFS集群中 Namenode存在单点故 障(SPOF: A Single point of Failure)。对于只有一个 Namenode的集群,如果 Namenode机 器出现故障(比如宕机或是软件、硬件升级),那么整个集群将无法使用 实现原理:HDFS的HA功能通过配置 Active/ Standby两个 Nannodes实现在集群中对 Namenode的热备来解决上述问题。如果出现故障,如机器崩溃或柷器需要升级维护,这 时可通过此种方式将 Name node很快的切换到另外·台机器; 在一个典型的HDFS(HA)集群中,使用两台单独的机器配置为 Namenodes在任何时 间点,确保 Namenodes中只有一个处于 Active状态,其他的处在 Standby状态。其中 Activenamenode负责集群中的所有客户端操作, StandbyName Node仅仅充当备札,保证 日 Active Name node出现问题能够快速切换; 5 资源由www.eimhe.com美河学习在线收集分享 DataNode DataN。de NameN。de acti 共享表据 ataN。de Namenode standb DataNode HADOOP2X的HDFS结构图 为了能够实时同步 Active和 Standby两个 Name Node的元数据信息(实际上 editing), 需提供一个共享存储系统,可以是NFS、QJM( Quorum Journal Manager)或者 Zookeeper, Active Namenode将数据写入共亨存储系统,而 Standby监听该系统,一旦发现有新数据写 入,则读取这些数据,并加载到自己内存中,以保证自己内存状态与 Active Namenode保 持基本‘致,如此这般,在紧急情况下 stand by便可快速切为 active namenode; JournalNode Journa lnode Journalnode JournalNode Journal。de ournaINbdes写表据 Nodes读 山 ameNde NameNode andby Zookeeper+Namenode 资源由www.eimhe.com美河学习在线收集分享 Zookeeper Cluster e0=n Zookeeper Senc state Message send state message. ZKFC ZKFC Health onitor, Failover Health monitor, failover Quarum-based Storage Share Data Name Node Name nodc Share Datat/ Jouna Node JounalNode InunalNode K shane Data ( Active ( Standby Data Node DataNode DataNode 1. NameNode(Master) 命名空问管理:命名空间支持HDFS中的巨录、文件和块做类似文件系统的创建、修改、删除列表文件和目录等基本操作 块存肆管理 2. DataNade( Slaver) namenode和cien的指令讲行存储或者检索bock,并目期性的向 namenode节点报告F存了耶些文件的bock Zookeeper+ Map Reduce ( Yarn Zookeeper Cluster Send State Message send State message ZKFC ZKFC hare Data RMStateStore Share Data ResaurceManager ResourceManager (Active ( Standby NodeManager NodeManager NodeManager 1 2 n 资源由www.eimhe.com美河学习在线收集分享 1. ResourceManager(RM) 收喜户鳞任努请求,接收和监控 NodeManager(NM)的资源情汇根,负查资博的分配与请度,启动和监控 Application M aster(A M) 2. NodeManager ·节点上的资源理,后动 container运行园skK计算,上报资源。 container情始RM和任努处理况始AM Zookeeper+ Hadoop ha总结 ActivestandhyElectorr ActiveStandby Elector ZkFailoyercontroller ZK Failoyercontroller shared sorge Health monitor Healthmonitor Zookeeper NFs HDFS EookkeeperQJM vasterHA Daemon YlEsterHA Daemon Active Standby Master Save shave Save Slave httb: /dongwithengorg 六、案例:搭建 hadoop276结合 zookeeper3410完全分布式存储集群 案例环境: 系统类型 P地址 主机名所需软件 角色 Centos 7.4 1708 64bit 192.168.100.101 master jdk-8u171-linux-X64.tar. hdfs:namenode zookeeper:投票 zookeeper-3.4.10.tar.gz hadoop-2.7.6.tar.gz Centos 7.4 1708 64bit 192.168.. 102 master2 jdk-8u171-linux-x64. tar. hdfs: namenode Z0 keeper:投票 3.4.10.tar hadoop-2.7.6.tar.gz Centos74170864bit192168100.103save1 dk-8u171-linux-X64. tar. hdfs: datanode keeper:投票 zookeeper-.4.10. tar.gz hadoop-2.7.6. tar. gz 资源由www.eimhe.com美河学习在线收集分享 Centos 7.4 1708 64bit 192. 168.100 104 slave jdk-8u171-linux-x64. tar. hdfs: datanode zookeeper: observer okeeper-3.4.10.ta hadoop-2.7.6. tar.gz 角色进程分布 主机名hds角色| Map-reduce(yarn) Zookeeper色 Node角色 角色 master1 namenode NodeManager Quorum PearMain 」 burna|Node DESZKFailover controller JobHistory Server master2 namnenode NodeManager QuorumPeerMain 」 burna|Node DESZKFailover Controller JobHistoryServer slave 1 datanode NodeManager Quorum PeerMain 」 ournaInode Resource Manager slave datanode NodeManager QuorumPeerMain JournalNode Resource Manager 案例步骤(保证节点间时间一致 配置所有节点间的域名解析及创建用户(所有节点配置相同,在此列举 master1节点配 置) 配置 master1节点远程管理 配置 master2节点远程管理: 在所有节点安装JDK环境(所有节点配置相同,在此列举 master1节点配置): 在 master1节点安装z0 keeper服务: 配置 master1节点的 zookeeper服务: 在 master2、 slave 1、save2准备 zookeeper日录并设置环境变量,同步 master1的配置 文件 配置所有节点的2 keeper的i号码并且设置 slave2为 observer: 启动所有节点的 zookeeper服务并查看服务角色状态: 在 master1节点访问 zookeeper管理客户端控制台测试 znode管理: 在 master1节点安装 hadoop服务 配置 master1节点的 Hadoop服务: 在 master2、 slave1、save2节点准备 hadoop目录,同步 master1的配置 在所有节点初始化 journalnade服务,自动创建目录: 在 master1节点格式化 namenode节点 启动所有节点的对应 namenode或 datanode服务 访问web节点,查看 hadoop集群状态 ≯手动切换状态,在各个 Namenode节点上启动 DESZK Failover controller,并且强制设置 maste1作为 active节点 冫测试 Hadoop分布式集群数据存储 资源由www.eimhe.com美河学习在线收集分享 在 master1节点初始化ha集群在z0 keeps中的状态 在 master1节点启动 mapreduce-yarn进程 在 master1节点启动 historyserver进程 在 master1节点开启集群的 DESZK Failover controller进程(按照以下方法): 在 slave1、save2节点启动 resourcemanager客广端任务进程,并且验证最终集群进程 分布状态 集群 Namenode节点高可用测试: 集群 resource Manager节点高可用测试: 配置所有节点间的域名解析及创建用户(所有节点配置相同,在此列举 master1节点配 置): [root@master"]# cat <<END >>/etc/hosts 192.168.100.101 master1 192.168.100.102 master2 192.168,100.103save1 192.168.100.104save2 END [root@master"]# useradd hadoop [root@master"# echo"hadoop"I --stdin hadoop 配置 master1节点远程管理: root@master 1"]# su- hadoop 上一次登录:四5月3101:54:26CST2018pts/0上 [hadoop @master] S ssh-keygen-t rsa [hadoop@master ]5 ssh-copy-id hadoop@192.168.100101 [hadoop @master"Is ssh-copy-id hadoop@192.168.100.102 [hadoop@master 1 S ssh-copy-id hadoop@ 192. 168. 100.103 [hadoop@master"]S ssh-copy-id hadoop@192.168.100.104 Hadoop@master 1IS ssh hadoop@master 1 ##远程连接save节点,进 行确认key值文件,不然在启动 hadoop时,会出现key的问题导致无法启动 [hadoop @master 15 ssh hadoop@master2 [hadoop@master 1 "S ssh hadoop@slave [hadoop @master ]S ssh hadoop@slave 配置 master2节点远程管理 [root@master2"]# su -hadoop 上次登录:四5月3101:5426CST2018pts/0上 [hadoop@master2"]s ssh-keygen - rsa [hadoop@master2"]5 ssh-copy-id hadoop@192.168.100101 [hadoop@master 2"s ssh-copy-id hadoop@192.168.100.102 10

...展开详情
试读 33P 大数据时代zookeeper分布式协调工具
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
大数据时代zookeeper分布式协调工具 9积分/C币 立即下载
1/33
大数据时代zookeeper分布式协调工具第1页
大数据时代zookeeper分布式协调工具第2页
大数据时代zookeeper分布式协调工具第3页
大数据时代zookeeper分布式协调工具第4页
大数据时代zookeeper分布式协调工具第5页
大数据时代zookeeper分布式协调工具第6页
大数据时代zookeeper分布式协调工具第7页

试读结束, 可继续读3页

9积分/C币 立即下载