完全分布式Hadoop2.3安装与配置
需积分: 10 129 浏览量
2015-11-03
13:41:51
上传
评论
收藏 1.23MB DOCX 举报
一、Hadoop 基本介绍
Hadoop 优点
1.高可靠性：Hadoop 按位存储和处理数据
2.高扩展性：Hadoop 是在计算机集群中完成计算任务，这个集群可以方便
的扩展到几千台
3.高效性：Hadoop 能够在节点之间动态地移动数据，并保证各个节点的动
态平衡，因此处理速度快
4.高容错性：Hadoop 能够自动保存数据的多个副本，并且能够自动将失败
的任务重新分配
5.低成本：Hadoop 是开源的，集群是由廉价的 PC 机组成
Hadoop 架构和组件
Hadoop 是一个分布式系统基础架构，底层是 HDFS（Hadoop Distributed
File System）分布式文件系统，它存储 Hadoop 集群中所有存储节点上的文
件（64MB 块），HDFS 上一层是 MapReduce 引擎（分布式计算框架），对
分布式文件系统中的数据进行分布式计算。
1.HDFS 架构
NameNode：Hadoop 集群中只有一个 NameNode，它负责管理 HDFS 的
目录树和相关文件的元数据信息
Sencondary NameNode：有两个作用，一是镜像备份，二是日志与镜像
定期合并，并传输给 NameNode
剩余11页未读，继续阅读
资源评论
