支持容错QoS的高效分布式文件存储算法.pdf

本文针对现有分布式文件存储系统存在的问题，如无法同时保证文件的定制化可靠性需求和良好的可扩展性，提出了一种支持容错QoS(服务质量)的高效分布式文件存储算法。该算法的核心在于实现文件存储的副本数量与其可靠性需求相匹配，并避免单一故障点和瓶颈点，同时保持节点间负载均衡，实现系统资源的高效利用。 在云计算的发展带动下，分布式文件存储已经进入云存储时代，为用户提供了可定制化、按需付费的服务模式。用户能够根据实际需求购买对应QoS的存储服务，这是目前云存储领域的研究热点。但是，现有的分布式文件存储算法更多地关注系统整体性能，而较少考虑不同用户在可靠性需求上的个性化要求。即使有些系统支持文件存储时设定不同的可靠性指标，但这类系统依赖于中央服务节点记录文件存储位置，从而存在性能瓶颈和单点故障风险。 本文的主要贡献包括： 1. 定义了容错QoS的概念，代表用户对文件存储可靠性的定制化需求。 2. 提出了支持容错QoS的分布式文件存储算法FTQoS-Oriented。 3. 实验验证了算法的可扩展性和负载均衡特性。 系统模型方面，容错QoS可以通过两层模型表示：用户容错QoS层和系统容错QoS层。用户容错QoS层采用用户可以直接理解的可靠性指标，如文件丢失概率和可访问概率等。系统容错QoS层采用容错策略参数指标，如副本策略下的副本数量、纠删码策略下的编码参数等。当系统容错方式和存储节点属性确定时，系统容错QoS可以由用户容错QoS唯一确定。本文选择的用户容错QoS层指标为文件可访问概率，容错方式为副本策略，因此系统容错QoS层采用副本数量这一指标。 分布式存储模型方面，文章忽略对访问特征的讨论，主要关注用户可靠性需求的满足问题。模型包含资源模型、需求模型和存储方案模型三个部分。资源模型由n个节点构成的分布式存储系统组成，每个节点用存储容量和可靠度的二元组表示。需求模型定义了包含m个文件的待存储文件集合，每个文件用大小和容错QoS需求的二元组表示。存储方案模型采用矩阵表示副本放置策略，矩阵元素取值为0或1，表示节点是否存储相应文件副本，且满足存储容量约束和负载均衡要求。 文章最后介绍了存储方案的框架，包含容错QoS映射模块和FTQoS-Oriented算法模块。容错QoS映射模块完成用户需求到系统容错QoS的映射，而FTQoS-Oriented算法模块实现具体的存储算法，该算法可以保证文件存储副本数量与可靠性需求匹配，确保没有单一故障点和瓶颈点，同时保持节点间负载均衡，高效利用系统资源。 文章的作者辛刚，男，陕西扶风人，硕士，工程师，研究方向为分布式存储和系统可靠性设计。该研究得到了陕西省自然科学基础研究计划和高等学校博士学科点专项科研基金的资助。