组成的。主节点负责调度构成一个作业的所有任 务,这些任务分布在不同的从
节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点
仅负责由主节点指派的任务。当一个 Job 被提交时,JobTracker 接收到提交作
业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控
TaskTracker 的执行。
从上面的介绍可以看出,HDFS 和 MapReduce 共同组成了 Hadoop 分布式系
统体系结构的核心。HDFS 在集群上实现分布式文件系统,MapReduce 在
集群上实现了分布式计算和任务处理。HDFS 在 MapReduce 任务处理过程中
提供了文件操作和存储等支持,MapReduce 在 HDFS 的基础上实现了任务的
分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了 Hadoop 分布
式集群的主要任务。
1.2 环境说明
我的环境是在虚拟机中配置的,Hadoop 集群中包括 3 个节点:1 个 Master,2
个 Salve,节点之间局域网连接,可以相互 ping 通,节点 IP 地址分布如下:
虚拟机系统 机器名称 IP 地址