换个角度看换个角度看GlusterFS分布式文件系统分布式文件系统
GlusterFS最初的目标是代替Lustre和GPFS分布式文件系统，经过八年左右的蓬勃发展，GlusterFS目前在开源社区活跃度非
常之高，这个后起之秀已经俨然与Lustre、MooseFS、CEPH并列成为四大开源分布式文件系统。当然，GlusterFS不是一个
完美的分布式文件系统，这个系统自身也有许多不足之处，本文不再谈GlusterFS的各种优点，而是深入谈谈GlusterFS当下的
问题和不足，从而更加深入地理解GlusterFS系统，期望帮助大家进行正确的系统选型决策和规避应用中的问题。
以下为原文：以下为原文：
GlusterFS（GNU ClusterFile System）是一个开源的分布式文件系统，它的历史可以追溯到2006年，最初的目标是代替
Lustre和GPFS分布式文件系统。经过八年左右的蓬勃发展，GlusterFS目前在开源社区活跃度非常之高，这个后起之秀已经俨
然与Lustre、MooseFS、CEPH并列成为四大开源分布式文件系统。由于GlusterFS新颖和KISS（KeepIt as Stupid and
Simple）的系统架构，使其在扩展性、可靠性、性能、维护性等方面具有独特的优势，目前开源社区风头有压倒之势，国内
外有大量用户在研究、测试和部署应用。
当然，GlusterFS不是一个完美的分布式文件系统，这个系统自身也有许多不足之处，包括众所周知的元数据性能和小文件问
题。没有普遍适用各种应用场景的分布式文件系统，通用的意思就是通通不能用，四大开源系统不例外，所有商业产品也不例
外。每个分布式文件系统都有它适用的应用场景，适合的才是最好的。这一次我们反其道而行之，不再谈GlusterFS的各种优
点，而是深入谈谈GlusterFS当下的问题和不足，从而更加深入地理解GlusterFS系统，期望帮助大家进行正确的系统选型决策
和规避应用中的问题。同时，这些问题也是GlusterFS研究和研发的很好切入点。
1、元数据性能、元数据性能
GlusterFS使用弹性哈希算法代替传统分布式文件系统中的集中或分布式元数据服务，这个是GlusterFS最核心的思想，从而获
得了接近线性的高扩展性，同时也提高了系统性能和可靠性。GlusterFS使用算法进行数据定位，集群中的任何服务器和客户
端只需根据路径和文件名就可以对数据进行定位和读写访问，文件定位可独立并行化进行。
这种算法的特点是，给定确定的文件名，查找和定位会非常快。但是，如果事先不知道文件名，要列出文件目录（ls或ls -
l），性能就会大幅下降。对于Distributed哈希卷，文件通过HASH算法分散到集群节点上，每个节点上的命名空间均不重叠，
所有集群共同构成完整的命名空间，访问时使用HASH算法进行查找定位。列文件目录时，需要查询所有节点，并对文件目录
信息及属性进行聚合。这时，哈希算法根本发挥不上作用，相对于有中心的元数据服务，查询效率要差很多。
从我接触的一些用户和实践来看，当集群规模变大以及文件数量达到百万级别时，ls文件目录和rm删除文件目录这两个典型元
数据操作就会变得非常慢，创建和删除100万个空文件可能会花上15分钟。如何解决这个问题呢？我们建议合理组织文件目
录，目录层次不要太深，单个目录下文件数量不要过多；增大服务器内存配置，并且增大GlusterFS目录缓存参数；网络配置
方面，建议采用万兆或者InfiniBand。从研发角度看，可以考虑优化方法提升元数据性能。比如，可以构建全局统一的分布式
元数据缓存系统；也可以将元数据与数据重新分离，每个节点上的元数据采用全内存或数据库设计，并采用SSD进行元数据
持久化。?
2、小文件问题、小文件问题
理论和实践上分析，GlusterFS目前主要适用大文件存储场景，对于小文件尤其是海量小文件，存储效率和访问性能都表现不
佳。海量小文件LOSF问题是工业界和学术界公认的难题，GlusterFS作为通用的分布式文件系统，并没有对小文件作额外的
优化措施，性能不好也是可以理解的。
对于LOSF而言，IOPS/OPS是关键性能衡量指标，造成性能和存储效率低下的主要原因包括元数据管理、数据布局和I/O管
理、Cache管理、网络开销等方面。从理论分析以及LOSF优化实践来看，优化应该从元数据管理、缓存机制、合并小文件等
方面展开，而且优化是一个系统工程，结合硬件、软件，从多个层面同时着手，优化效果会更显著。GlusterFS小文件优化可
以考虑这些方法，这里不再赘述，关于小文件问题请参考“海量小文件问题综述”一文。
3、集群管理模式、集群管理模式
GlusterFS集群采用全对等式架构，每个节点在集群中的地位是完全对等的，集群配置信息和卷配置信息在所有节点之间实时
资源评论
weixin_38606404
- 粉丝: 3
- 资源: 874
最新资源
- 西门子数控系统调试与通讯：828D、840D、808D的参数配置、梯形图修改及外部IO增加案例分享,西门子数控系统调试与配置手册：涉及828D、840D与808D系统的参数调整、梯形图修改与外部通讯实
- 中国各类互联网应用的用户规模数据.zip
- 中国各省地图（包含港澳台） 山西（shanxi）陕西（shanxi1）
- E000620医院体检医疗健康类网站模板+PHP+Mysql+响应式+CMS+建站模板
- 中国各省对应各市级地图json
- 大模型基础-30分钟一文了解大模型基础知识（人工智能必读）.zip
- COMSOL模拟：二氧化碳充装与输气管道泄漏的耦合温度场分析，输出速度与温度分布,COMSOL模拟：二氧化碳充装与输气管道泄漏的耦合温度场分析，输出速度与温度分布,comsol 二氧化碳充装二氧化碳输
- 基于python开发的简单的windows桌面画笔功能，全部使用快捷键操作（python源码+图文教程），开箱即用，非常优质的资源
- C#上位机与西门子PLC通讯教程：数据读取存储、报表生成、报警历史查询及变量自定义配置实战案例详解,C#上位机与西门子PLC通讯教程：数据读取存储、报表生成、报警历史查询及变量自定义配置实战案例详解
- 基于遗传算法的锂电池二阶RC模型参数辨识技术研究-附Matlab程序与多种工况充放电数据集（DST、FUDs、US06、BJDST等八种）,基于遗传算法的锂电池二阶RC模型参数辨识技术研究-附Ma
- 利用格子玻尔兹曼方法LBM D1Q3模型在Matlab中模拟一维扩散方程的研究,使用格子玻尔兹曼方法LBM D1Q3模拟一维扩散方程的Matlab实现与应用研究,使用格子玻尔兹曼方法LBM D1Q3模
- 流水线电机变频调速系统设计 MATLAB电路建模仿真
- 2022年美国各州基本经济统计数据.zip
- 基于Transformer的Matlab代码：数据回归与多场景预测工具箱,Transformer在数据回归分析中的应用-基于Matlab代码的实战教学,Transformer回归 Matlab代码
- Sigma-Delta ADC Matlab模型集合：包含CTSD调制器、FFT分析、动态静态特性仿真与教程，方便入门学习,Continuous-Time Sigma-Delta ADC Matlab
- 基于Comsol仿真的兰姆波导波在钢板中的传播及裂隙检测分析,Comsol仿真中兰姆波导波在有限尺寸钢板内传播的裂隙检测技术研究,Comsol仿真无损检测时产生的兰姆波 导波在宽度和厚度有限的钢板中传
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
