ＨＤＦＳ的读写数据流程：资源-CSDN文库

文档资料

需积分: 5 169 浏览量 2022-06-06 18:06:29 上传评论收藏 256KB PDF 举报

资源详情

资源评论

ＨＤＦＳ的读写数据流程：

１．向 NamdeNode 请求上传文件，

２．响应可以上传的文件

３．请求上传第一个 block 的（0-128M），请返回 DataNode

4. 返回 dn1,dn2,dn3 的节点，表示采用这三个节点存储数据。

5. 当 FS 的 DataOutputStream 的请求时，请求建立 Block 传输通道到

D 通过 bytebuffer 的形式，请求建立通道，到 DN2，请求的数据建为 DN3

6. 到数据完成后。节点应答完成，DataNode3 应答成功，dn2 应答成功，dn1 应答成功，，

7. 传输数据 packet(chunk512+chunksum4byte)

8. 直到传输完成。

源码流程如下：

1. fs.create

2. 分布式文件系统

3. 新的流失文件，的

4. 文件读取

5. 文件读写

6. 512+4byte+chunk，够一个 packet

如果写失败，会把 packet 重写防护 dataQueue 并将 packet 从 ackQueueue 中移除。

dataQueue.wait 队列堵塞等待接受数据到 DataStream，

7. 此时 dataStremas 将 Socket 请求发送 packet 到 DataNode1,DataNode2 的，DataNode3 的，经

过 DataNode 的读写完成后持久化到磁盘。

源码如下:

3.1 create 创建过程

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-hdfs-client</artifactId>

<scope>provided</scope>

</dependency>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

</dependency>

</dependency>

</dependencies>

public FSDataOutputStream create(Path f, FsPermission permission,

boolean overwrite, int bufferSize, short replication, long blockSize,

Progressable progress) throws IOException {

return this.create(f, permission,

overwrite ? EnumSet.of(CreateFlag.CREATE, CreateFlag.OVERWRITE)

: EnumSet.of(CreateFlag.CREATE), bufferSize, replication,

blockSize, progress, null);

}

@Override

public FSDataOutputStream create(final Path f, final FsPermission permission,

final EnumSet<CreateFlag> cflags, final int bufferSize,

final short replication, final long blockSize,

final Progressable progress, final ChecksumOpt checksumOpt)

throws IOException {

statistics.incrementWriteOps(1);

storageStatistics.incrementOpCounter(OpType.CREATE);

Path absF = fixRelativePart(f);

return new FileSystemLinkResolver<FSDataOutputStream>() {

@Override

public FSDataOutputStream doCall(final Path p) throws IOException {

创建获取了一个输出流对象

final DFSOutputStream dfsos = dfs.create(getPathName(p), permission,

cflags, replication, blockSize, progress, bufferSize,

checksumOpt);

// 这里将上面创建的 dfsos 进行包装并返回

public DFSOutputStream create(String src, FsPermission permission,

EnumSet<CreateFlag> flag, boolean createParent, short replication,

long blockSize, Progressable progress, int buffersize,

ChecksumOpt checksumOpt, InetSocketAddress[] favoredNodes,

String ecPolicyName) throws IOException {

checkOpen();

final FsPermission masked = applyUMask(permission);

LOG.debug("{}: masked={}", src, masked);

final DFSOutputStream result = DFSOutputStream.newStreamForCreate(this,

src, masked, flag, createParent, replication, blockSize, progress,

dfsClientConf.createChecksum(checksumOpt),

getFavoredNodesStr(favoredNodes), ecPolicyName);

beginFileLease(result.getFileId(), result);

return result;

}

static DFSOutputStream newStreamForCreate(DFSClient dfsClient, String src,

FsPermission masked, EnumSet<CreateFlag> flag, boolean createParent,

short replication, long blockSize, Progressable progress,

DataChecksum checksum, String[] favoredNodes, String ecPolicyName)

throws IOException {

try (TraceScope ignored =

剩余28页未读，继续阅读

评论收藏

内容反馈

ＨＤＦＳ　的读写数据流程：

评论0

最新资源

ＨＤＦＳ 的读写数据流程：

评论0

最新资源

相关推荐

【HDFS篇06】HDFS数据读写流程1

HDFS读写数据流程分析.ppt

HDFS读写流程.xmind

11HDFS的读写流程&NameNode、DataNode工作机制——好程序

HDFS操作流程+代码操作HDFS

Hadoop技术HDFS数据读写流程共7页.pdf.zip

hdfs源码.zip

高可用性的HDFS：Hadoop分布式文件系统深度实践

hadoop 读写文件流程详解

HDFS资料整理.pdf

大数据处理流程.pdf

Hadoop从入门到上手企业开发

FocusBigData:【大数据成神之路学习路径+面经+简历】

大数据处理的关键技术.docx

大数据运维面试题整理.pdf

Hadoop读写流程与2x架构-详细分析

使用 Microsoft:registered: Azure:registered: 存储 Blob 的 3 种方法：使用 HTTPS 和 WASB-matlab开发

基于分布式数据库的图像检索系统

大数据学习计划.pdf

全国计算机等级考试二级Python真题及解析.docx

1000份ppt模版，PPT模板优秀PPT

matlab批量读取excel表格数据并处理画图

导入证书可以解决”无法建立到信任根颁发机构的证书链"问题。

OpenCv车辆识别训练模型

代码随想录知识星球精华-大厂面试八股文第二版v1.2.pdf

Vue-Element UI集成ECharts实现数据统计分析页代码部分(如果帮助到你，感谢关注点赞)

数学建模对乙醇偶合制备C4烯烃的问题研究

STM32F103C8T6中文数据手册

（头歌）计算机组成原理存储系统设计（HUST）1-7关答案

ＨＤＦＳ　的读写数据流程：