【免费】分布式文件系统-TFS和Haystack对比1_Tfsdocpro资源-CSDN文库

需积分: 0 165 浏览量 2022-08-08 18:06:23 上传评论收藏 73KB DOCX 举报

资源详情

资源评论

资源推荐

TFS 和 Haystack

主要是对两者的存储和检索实现做对比。

从宏观来看，TFS 与 Haystack 的最大区别就是：TFS 只关心存储层面，它

没有 Haystack 的 cache 组件。Haystack 期望提供的是从浏览器、到 CDN、到最

终存储的一整套解决方案，架构定位稍有不同，Haystack 也是专门为这种场景下

的图片服务所定制的，做了很多精细的优化；TFS 的目标是通用分布式文件存储，

除了 CDN 还会支持其他各种场景。

是使用定制的？还是使用通用的？这个并没有标准答案。

存储机器上的文件结构、文件系统元数据对策

Haystack：机器上维护了少量的大型物理卷文件，其中包含一系列 needle 来

存储小文件，同时 needle 的文件系统元数据被全量缓存、持久化“存档”。

TFS：在 TFS 中，将大量的小文件(实际用户文件)合并成为一个大文件，这

个大文件称为块(Block)。TFS 以 Block 的方式组织文件的存储。DataServer 进程

会给 Block 中的每个文件分配一个 ID(File ID，该 ID 在每个 Block 中唯一)，并将

每个文件在 Block 中的信息存放在和 Block 对应的 Index 文件中。这个 Index 文

件一般都会全部 load 在内存。

海量的小文件都不会直接放在文件系统上，而是合并成 super block，维护

super block 中各 entry 的元数据和索引信息，并全部载入内存中。

分布式协调调度、应用元数据策略

Haystack：系统接收到读写请求时，依靠 Directory 分析应用元数据，再结合

一定策略（负载均衡、容量、运维、只读、可写等），决定请求被发送到哪台 store

机器上，并向 store 提供足够的存储或检索信息。Directory 负责了整体分布式环

境的协调调度、应用元数据管理职能，并基于此帮助实现了系统的可扩展性、容

错性。

TFS：NameServer 主要功能是: 管理维护 Block 和!DataServer 相关信息,包

括!DataServer 加入，退出, 心跳信息, block 和!DataServer 的对应关系建立，解除。

正常情况下，一个块会在!DataServer 上存在，主!NameServer 负责 Block 的创建，

删除，复制，均衡，整理。

Haystack 中的 Directory 和 TFS 的 NameServer 职责类似，负责分布式协调调

度和应用元数据分配管理。

扩展性

Haystack 和 TFS 都是基于分布式协调调度和元数据分配管理实现了扩展方

案。

传统的方案

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

评论0

内容反馈

郑瑜伊

粉丝: 19
资源: 318

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip