linux 磁盘及文件系统管理详解
安装软件: 系统:Linux 2.6.32-358.el6.x86_64 JDK:jdk-7u7-linux-i586.tar.gz Hadoop版本:hadoop-0.20.2-cdh3u4.tar.gz 硬件环境: 三台主机:分别为 gdy192 192.168.61.192 gdy194 192.168.61.194 gdy195 192.168.61.195 本次部署模型为: gdy192上部署:NameNode和JobTracker gdy194上部署:SecondaryNameNode gdy195上部署:DateNode TaskTracker
前言: 由于Hadoop属于java程序,所以,安装Hadoop之前需要先安装jdk。 对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点。 分别是: JobTracker:负责Hadoop的Job任务分发和管理。 TaskTracker:负责在单个节点上执行MapReduce任务。 对于Hadoop里面的HDFS的节点又有 NameNode:主节点,负责管理文件存储的名称节点 DateNode:数据节点,负责具体的文件存储节点。 由于HDFS中NameNode非常繁忙,容易产生故障。说以对于HDFS文件系统来说,需要一个节点随时给他复制编辑到名称节点NameNOde里面去。这样的一个类似于备份的节点叫做SecondaryNameNode。