ＨＤＦＳ 的读写数据流程：
１．向 NamdeNode 请求上传文件，
２．响应可以上传的文件
３．请求上传第一个 block 的（0-128M），请返回 DataNode
4. 返回 dn1,dn2,dn3 的节点，表示采用这三个节点存储数据。
5. 当 FS 的 DataOutputStream 的请求时，请求建立 Block 传输通道到
D 通过 bytebuffer 的形式，请求建立通道，到 DN2，请求的数据建为 DN3
6. 到数据完成后。节点应答完成，DataNode3 应答成功，dn2 应答成功，dn1 应答成功，，
7. 传输数据 packet(chunk512+chunksum4byte)
8. 直到传输完成。
源码流程如下：
1. fs.create
2. 分布式文件系统
3. 新的流失文件， 的
4. 文件读取
5. 文件读写
6. 512+4byte+chunk，够一个 packet
如果写失败，会把 packet 重写防护 dataQueue 并将 packet 从 ackQueueue 中移除。
dataQueue.wait 队列堵塞等待接受数据到 DataStream，
7. 此时 dataStremas 将 Socket 请求发送 packet 到 DataNode1,DataNode2 的，DataNode3 的，经
过 DataNode 的读写完成后持久化到磁盘。
源码如下:
3.1 create 创建过程
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs-client</artifactId>
<version>3.1.3</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
剩余28页未读，继续阅读
评论0
最新资源