Hadoop学习总结之一：HDFS简介.doc
需积分: 17 20 浏览量
2018-06-06
14:56:39
上传
评论
收藏 604KB DOC 举报
一、HDFS 的基本概念
1.1、数据块(block)
HDFS(Hadoop Distributed File System)默认的最基本的存储单位是 64M 的数
据块。
和普通文件系统相同的是，HDFS 中的文件是被分成 64M 一块的数据块存储的。
不同于普通文件系统的是，HDFS 中，如果一个文件小于一个数据块的大小，并不
占用整个数据块存储空间。
1.2、元数据节点(Namenode)和数据节点(datanode)
元数据节点用来管理文件系统的命名空间
o 其将所有的文件和文件夹的元数据保存在一个文件系统树中。
o 这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace
image)及修改日志(edit log)
o 其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些
信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。
数据节点是文件系统中真正存储数据的地方。
o 客户端(client)或者元数据信息(namenode)可以向数据节点请求写入或者
读出数据块。
o 其周期性的向元数据节点回报其存储的数据块信息。
从元数据节点(secondary namenode)
o 从元数据节点并不是元数据节点出现问题时候的备用节点，它和元数据节
点负责不同的事情。
o 其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并，
以防日志文件过大。这点在下面会相信叙述。
o 合并过后的命名空间镜像文件也在从元数据节点保存了一份，以防元数据
节点失败的时候，可以恢复。
1.2.1、元数据节点文件夹结构
资源评论
