没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论












Hadoop 集群配置、启动验证
实训指导书
1. 任务说明
1.1 任务内容
了解 Hadoop 的完全分布式安装完成后各节点上都运行了哪些进程,以及各自的
作用
熟练掌握 Hadoop 完全分布模式安装流程
1.2 知识点/技能点
⚫ Linux 系统安装 jdk
⚫ Linux 常用命令:tar、mv
⚫ Hadoop 相关文件配置
⚫ 主从节点实现免密登录
1.3 任务目标(效果)
完成主从节点 hadoop 配置并成功启动 hadoop 集群
2. 任务准备
2.1 环境要求
⚫ Centos 7
⚫ Jdk 1.7
⚫ Hadoop2.6.0

2.2 背景知识
2.2.1 Hadoop 简介
Hadoop 的运行模式分为 3 种:本地运行模式,伪分布运行模式,完全分布式运行
模式。
完全分布式模式:Hadoop 的守护进程运行在由多台主机搭建的集群上,是真正的
生产环境。在所有的主机上安装 JDK 和 Hadoop,组成相互连通的网络。
对于完全分布式模式 Hadoop 的集群来讲,可以分成两大类角色:Master 和
Salve。当开启 Hadoop 集群时,Master 节点和各个 Slave 节点里的相关进程如下
图所示:
各进程的作用如下:
(1)NameNode:相当于一个领导者,负责调度。比如你需要存一个 640M 的文
件,如果按照 64M 分块,那么 NamenNode 就会把这 10 个块(这里不考虑副本)分配
到集群中的 DataNode 上,并记录对应关系 。 当要下载这个文件的时候 NameNode
就知道在哪些节点上获取这些数据了。它主要维护两个 Map 一个是文件到块的对应关
系,一个是块到节点的对应关系。
(2)SecondaryNameNode:辅助 NameNode,分担其工作量;定期合并 fsimage
和 edits,推送给 NameNode;紧急情况下,可辅助恢复 NameNode,但 Secondary
NameNode 并非 NameNode 的热备。

(3)NodeManager:它是 YARN 中每个节点上的代理, 它管理 Hadoop 集群中
单个计算节点,包括与 ResourceManger 保持通信,监督 Container 的生命周期管
理,监控每个 Container 的资源使用(内存、CPU 等)情况,追踪节点健康状况,管
理日志和不同应用程序用到的附属服务(auxiliary service)。
(4)DataNode:
①DataNode 需要完成的首要任务是 K-V 存储。
②完成和 NameNode 通信 ,这个通过 IPC 心跳连接实现,此外还完成与客户端
或其它 DataNode 之间的信息交换 。
③完成和客户端还有其它 DataNode 节点之间的大规模通信,这个需要直接通过
socket 协议实现。
(5)ResourceManager:管理所有可用的集群资源并协助管理运行在 YARN 上
的分布式应用的主要组件。RM 与每个节点的 NodeManagers (NMs) 和每个应用的
ApplicationMasters (AMs)一起工作。
①NodeManagers 遵循来自 ResourceManager 的指令来管理单一节点上的可
用资源。
② ApplicationMasters 负 责 与 ResourceManager 协 商 资 源 并 与
NodeManagers 合作启动容器。
3. 任务步骤
3.1 添加映射
1.用 ifconfig 或 ip a 命令获取两台服务器的 ip 地址;
[root@node01 ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:A8:B7:29
inet addr:192.168.74.10 Bcast:192.168.74.255
Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fea8:b729/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:107328 errors:0 dropped:0 overruns:0
剩余13页未读,继续阅读
资源评论

知识世界
- 粉丝: 314
- 资源: 1万+

上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
安全验证
文档复制为VIP权益,开通VIP直接复制
