没有合适的资源?快使用搜索试试~ 我知道了~
分布式文件系统多级容错机制的研究与实现.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 79 浏览量
2022-06-22
23:15:07
上传
评论
收藏 618KB PDF 举报
温馨提示
试读
72页
分布式文件系统多级容错机制的研究与实现.pdf
资源推荐
资源详情
资源评论
III
目录
第一章 引言...........................................................................................................1
第二章 DPFS 文件系统总体设计........................................................................3
2.1 分布式文件系统设计概要................................................................................................3
2.2 DPFS 总体设计 ..................................................................................................................5
2.2.1 DPFS 系统环境 .......................................................................................................5
2.2.2 DPFS 总体设计结构 ...............................................................................................7
2.3 本章小结............................................................................................................................9
第三章 DPFS 多级容错总体设计......................................................................10
3.1 分布式系统故障恢复模型分析......................................................................................10
3.1.1 FR 模型..................................................................................................................10
3.1.2 BR 模型 .................................................................................................................10
3.2 DPFS 多级容错机制总体设计 ........................................................................................11
3.2.1 DPFS 容错模型 .....................................................................................................11
3.2.2 DPFS 多级容错软件结构 .....................................................................................12
3.2.3 DPFS 多级容错执行逻辑 .....................................................................................12
3.4 多级容错实现中的技术问题..........................................................................................14
3.4.1 开发技术要点.......................................................................................................14
3.4.2 DPFS 通信接口 .....................................................................................................17
3.5 本章小结..........................................................................................................................18
第四章 操作集容错与实时远程容错.................................................................19
4.1 DPFS 操作集设计概要 ....................................................................................................19
4.1.1 超级块及超级块操作集.......................................................................................19
4.1.2 inode 结构及 inode 操作集 ...................................................................................19
4.1.3 虚拟目录树与 v_entry 结构.................................................................................20
4.1.4 file 结构及 file 操作集 ..........................................................................................21
4.2 基于操作集同步的容错设计..........................................................................................21
4.2.1 操作集同步机制...................................................................................................21
4.2.2 同步容错设计前提分析.......................................................................................23
4.2.3 同步容错结构设计...............................................................................................23
4.3 操作集自检测与恢复机制..............................................................................................24
4.3.1 错误管理...............................................................................................................24
4.3.2 读特性操作检测与容错.......................................................................................25
4.3.3 写特性操作自检测...............................................................................................26
4.3.4 操作集自恢复.......................................................................................................27
4.4 实时远程容错..................................................................................................................28
4.4.1 通信子层可靠检测...............................................................................................29
4.4.2 实时远程恢复模型...............................................................................................29
4.4.3 恢复数据结构.......................................................................................................30
4.4.4 恢复执行过程.......................................................................................................31
4.5 本章小结..........................................................................................................................32
IV
第五章 日志容错设计.........................................................................................33
5.1 分布式日志设计..............................................................................................................33
5.1.1 日志类型...............................................................................................................33
5.1.2 分布式日志...........................................................................................................34
5.2 DPFS 日志设计 ................................................................................................................35
5.3 存储管理...........................................................................................................................35
5.3.1 日志结构...............................................................................................................36
5.3.2 日志管理...............................................................................................................38
5.4 日志记录...........................................................................................................................41
5.4.1 日志版本...............................................................................................................42
5.4.2 日志记录...............................................................................................................43
5.4.3 检查点...................................................................................................................45
5.5 容错恢复机制...................................................................................................................46
5.5.1 选举算法................................................................................................................46
5.5.2 恢复点算法...........................................................................................................48
5.5.3 恢复优化策略.......................................................................................................48
5.5.4 DARP 恢复协议 ....................................................................................................50
5.6 本章小结..........................................................................................................................59
第六章 性能分析.................................................................................................60
6.1 多级容错逻辑分析..........................................................................................................60
6.1.1 两级容错逻辑.......................................................................................................60
6.1.2 三级容错逻辑.......................................................................................................61
6.2 多级容错可靠性..............................................................................................................62
6.3 本章小结..........................................................................................................................65
第七章 结束语.....................................................................................................66
参考文献...............................................................................................................67
致谢.......................................................................................................................69
个人简历...............................................................................................................70
分布式文件系统多级容错机制的研究与实现
1
第一章 引言
90 年代以来,计算机技术得到了迅猛的发展。计算机开始在各行各业得到广
泛的应用。随着计算机网络的产生和计算机通信技术的日益完善,宽带网络应用
得到了迅速的推广。网络服务的内容和种类空前丰富,例如:宽带 IP 社区网络、
电子商务、电子政务、大型 WEB 服务器、多媒体视频服务器等等。这些新的应
用迫使计算机技术向更高的计算机处理能力、更大的资源存储空间、更方便的共
享方式和更好的可靠性等层次发展。然而追求单 CPU,单服务器系统性能的改
善往往会带来更高的硬件成本代价问题。
为此,人们开始思考将大量 CPU 组成的计算机系统通过高速的网络连接在
一起形成具有很高处理能力的计算机系统,又称为分布式系统(Distributed
System)。他们发现通过这种方式,可以在满足计算机系统处理能力和资源共享
的同时提供很多优秀的特性:多个微处理机提供了比大型机更好的性价比、分布
式系统的总体计算能力渴望比单个大型主机更为强劲、系统中单机的失效并不会
影响整个系统的运行,分布式系统的性能和计算能力可以通过动态增加主机节点
逐步提高等等。
分布式系统架构的提出让整个计算机界感到鼓舞。设计分布式操作系统成为
了分布式系统研究中的迫切问题。分布式操作系统式是分布式系统的灵魂,它通
过软件的方式屏蔽底层硬件的细节,使用户在使用分布式系统时感觉就像使用单
一计算机一样方便。
分布式文件系统 DFS 作为分布式操作系统的核心内容之一,吸引了众多的研
究人员和机构进行研究。它为分布式操作系统提供了数据共享和数据冗余的能
力。对于分布式系统中的应用程序,如视频点播系统,希望操作系统能够借助数
据共享功能使应用程序的开发、管理大大简化;对于普通用户,DFS 的共享能力
为访问远地文件或者称为网络文件提供了方便;对于系统管理人员,DFS 的数据
冗余能力(即多副本功能)为备份重要数据提供了方便。可见,在分布式操作系
统中,文件系统的稳定性、安全性和高效性直接影响了应用软件的使用。
DPFS(Distributed Parallel File System)是电子科技大学 8010 研究室自主开
发的分布式并行文件系统。作为研发人员之一,我有幸地参加了 DPFS 的研究与
开发工作,并负责设计和实现 DPFS 容错模块的工作。
DPFS 容错模块被设计成复合型的多级容错方式。目前实现的容错机制主要
包括三个部分,它们分别是操作集自检测与恢复、实时远程容错和日志容错。
分布式文件系统多级容错机制的研究与实现
2
本文着重分析了由上述三个部分组成的 DPFS 多级容错体系结构。操作集自
检测用于诊断故障,并保存故障信息;操作集自恢复和实时远程容错提供了对故
障的及时恢复的能力,解决瞬时故障方面的问题;日志容错机制采用了空间管理、
检查点算法和基于 Agent 的恢复协议,解决持久故障方面的问题。
全文安排如下:
第一章 引言
主要介绍学位论文涉及的课题研究背景、课题目前的情况和作者所作的
工作。
第二章 DPFS 文件系统总体设计
本章首先介绍了 DFS 的概念和设计中需要注意的关键问题;然后,分析
了 DPFS 文件系统的总体框架,软件层次和各个模块的功能,并说明了 DPFS
在 Linux 内核中的逻辑层次。
第三章 DPFS 多级容错机制总体设计
本章首先对典型的分布式容错模型进行了分析。随后,提出了 DPFS 多
级容错机制的软件结构,并描述了其整体实现流程以及各个容错模块的功
能。最后,简单介绍了在设计容错模块时使用的内核编程技术。
第四章 操作集自检测机制与实时远程容错
由于操作集自检测与恢复、实时远程容错结合比较紧密,所以放在一章
中进行分析。本章首先简单介绍了它们在 DPFS 软件结构中的层次、与 DPFS
操作集的联系;然后,依次分析了它们的设计思想、实现过程;最后,进行
了小结。
第五章 日志恢复容错机制
本章讲述了日志容错部分的内容。由于日志系统实现比较复杂,本章只
能分析其中部分重要机制,分别是存储管理、日志记录和恢复机制。最后,
进行小结。
第六章 性能分析
本章从逻辑结构和可靠性两方面对 DPFS 多级容错机制进行了性能分
析,并提出了进一步改善性能的途径。
第七章 结束语
回顾所做的工作,对全文进行总结。
分布式文件系统多级容错机制的研究与实现
3
第二章 DPFS 文件系统总体设计
2.1 分布式文件系统设计概要
分布式文件系统(DFS)除了具有本地文件系统的所有功能外,还需要把整
个分布式网络文件资源以统一的视图呈现给用户。它隐藏内部的实现细节,提供
用户方便的管理资源的手段。它支持存储、更新、备份和恢复功能,并能够满足
多用户、多应用的数据共享的需求,为分布式操作系统中其他的构件提供基础。
一般来说,一个 DFS 的设计目标应该包括下列内容:
命名服务:系统的中每一个对象不管在哪个节点上都可以使用同样的名字方
便地访问同一个资源。
一致性:cache 一致性、副本一致性等。
透明性:位置透明性、访问透明性等。要求 DFS 中文件的迁移、更名等操作
不会影响应用程序的使用。访问 DFS 应该和本地文件系统一样,用户进程不需
要知道文件的具体位置等等。
可用性与可靠性:DFS 中单个节点的失效不应该影响整个系统的正常工作,
系统应具有故障恢复,容错机制等功能,以保证用户享有高可用性与可靠性。
命名服务
命名服务负责文件系统名到机器级系统名的映射工作。在 DFS 中文件系统名
应该唯一,使得一个文件从一个计算机到另一个计算机时不需要做任何改变。由
于一个用户在命名自己的文件时并不知道其他的用户使用什么名字,所以命名服
务应该提供使用不同的名字访问同一个文件或者一个名字访问不同的文件的功
能。为了满足这些传统的命名要求,命名服务必须具有树型层次结构的名字空间。
在分布式系统中主要有三种命名方式:
简单命名。它通过组合本地名和服务器名构成 DFS 名,保证了文件名在系统
中的全局唯一性。但是,文件名中显式地给出了文件所在的主机的信息,它无法
满足文件迁移的要求。
安装远程目录到本地目录。这种方式具有树型的目录结构、对于每一时刻文
件命名唯一。但是,不同时刻安装点有可能不同,可能造成下一次全局文件名或
者目录名的改变。
全局名字空间。采用这一方法,在整个 DFS 中提供全局的名字服务,在每一
剩余71页未读,继续阅读
资源评论
programmh
- 粉丝: 4
- 资源: 2163
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功