支持文件重删的HDFS分布式备份系统研究.pdf

根据提供的文件内容，我们可以提炼出以下知识点： 1. 数据增长与备份挑战：随着电子化速度的加快，电脑上的数据量呈现增长趋势，导致数据备份领域的挑战性增强。数据备份需要使用大量磁盘阵列作为存储介质，这使得成本控制成为一个难题。 2. 云存储平台的优势：云存储平台提供低廉的成本、高效的资源伸缩与利用率，它能够有效地对大型企业数据提供备份保护。 3. HDFS系统简介：HDFS（Hadoop Distributed File System）是一个分布式存储系统，能轻松处理海量数据。它是由Apache Hadoop项目所贡献，专门用于大数据存储与计算。 4. 分布式备份系统：分布式备份系统可解决传统备份系统的一些缺点，例如提高备份速度和恢复速度，优化硬件成本控制等。HDFS作为分布式存储系统的代表，具有处理海量数据的能力。 5. 重复数据删除技术：简称重删技术，是一种数据压缩技术，它将大量文件分块并删除相同的文件块，只备份非重复数据，有效提高了存储效率和网络带宽的利用率。 6. 网络带宽瓶颈问题：在使用云备份服务时，大量数据在节点之间的传输备份可能导致网络带宽的严重消耗，造成网络瓶颈问题。 7. 研究方法：通过结合开源架构的HDFS与OPENDEDUP，设计并实现了一个支持数据重删技术的备份系统DDFS（Deduplication Distributed File System）。 8. 实验对比：通过对改进后的备份系统与传统备份方案在备份文件所占空间、时间等参数进行对比，验证了新系统的优越性。 9. 文献标识与分类：文献按照中图分类号TP311，文献标识码A，文章编号1674-6236(2014)04-0019-04进行标识和分类。 以上知识点涵盖了文件标题和描述中提及的关键内容，以及部分内容中展现的研究成果和相关的技术背景。这些知识点有助于深入理解在HDFS系统中引入重复数据删除技术的分布式备份系统的研究现状、挑战、方法和实验结果。