【免费】博睿数据海量小文件分布式存储系统1资源-CSDN文库

需积分: 0 79 浏览量 2022-08-08 21:51:19 上传评论收藏 479KB DOCX 举报

资源详情

资源评论

资源推荐

博睿数据海量小文件分布式存储系统

—BRFS

1 项目背景

随着博睿公司业务的迅速发展，推出了很多新的产品，如 Bonree SDK、Bonree

Browser、Bonree Server 等），这些产品每天都会回收大量的如网页截图、网络

抓包、代码堆栈快照等数据文件需要进行存储。由于此类文件体积小但数量多的

特点，导致在存储上会遇到很多问题，如使用系统原生文件系统进行存储，则会

遇到 Linux 索引节点（inode）耗尽导致磁盘存储空间无法有效利用的问题，同

时也无法原生支持分布式及高可用的要求。但如果采用 HDFS 或 HBASE 方案存

储，则一方面硬件资源开销较大，NameNode 内存开销过大的问题，同时该方案

读写效率也不足够高效，尤其当内部进行块文件合并时集群 I/O 压力过大的时候，

读写效率更是难以保证。

为了解决以上这些问题，针对海量（10 亿个文件以上）小文件（普遍大小在

1KB-50KB ）的分布式存储的场景，我们设计了 BRFS （ Bonree Distributed

FileSystem）系统，以满足博睿公司目前各产品线对海量小文件数据存储需求。

目前此项目已在 Github 上开源（https://github.com/zhangnianli/BRFS），欢迎

Star、Fork 和 PR。

2 BRFS 是什么？

BRFS 是一个主要针对海量小文件（快照、图片、语音等）存储而设计

的高可用、高性能、易扩展的分布式文件系统。BRFS 对存储的文件格式没有限

制和要求，任何格式的文件都会以 byte 字节流的方式进行存储。此系统功能不

仅包含了现有其他开源产品具备的权限控制、数据增删读、多副本备份、数据检

验等基础功能，同时我们还设计了独特且高效的副本自动迁移和平衡策略、多应

用数据隔离且独立配置，系统资源管理插件、集群状态可视化监控与报警等功能。

一般来说，一个 BRFS 系统包含如下三个部分：

1、FS_Server.jar：在集群每个节点上运行的核心服务模块。在模块运行时

会启动若干 ReginNode(管理节点)和 DataNode（数据节点）进程来提供服务。其

中 ReginNode 进程主要职责是管理存储域元信息、管理数据节点、把用户数据分

剩余19页未读，继续阅读

评论0

内容反馈

ShepherdYoung

粉丝: 31
资源: 337

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip