没有合适的资源?快使用搜索试试~ 我知道了~
ceph面向对象的分布式文件系统
![star](https://csdnimg.cn/release/downloadcmsfe/public/img/star.98a08eaa.png)
温馨提示
![preview](https://dl-preview.csdnimg.cn/3978988/0001-f861b6958e102a9f2dcf8e449d68f8ec_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
239页
Ceph是一个 Linux PB 级分布式文件系统。它的设计并没有假设某种特殊工作负载,但包括了适应变化的工作负载,并提供最佳性能的能力。它利用 POSIX 的兼容性完成所有这些任务,允许它对当前依赖 POSIX 语义(通过以 Ceph 为目标的改进)的应用进行透明的部署。
资源推荐
资源详情
资源评论
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![ppt](https://img-home.csdnimg.cn/images/20210720083527.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![fzip](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/release/download_crawler_static/3978988/bg1.jpg)
UNIVERSITY OF CALIFORNIA
SANTA CRUZ
CEPH: RELIABLE, SCALABLE, AND HIGH-PERFORMANCE
DISTRIBUTED STORAGE
A dissertation submitted in partial satisfaction of the
requirements for the degree of
DOCTOR OF PHILOSOPHY
in
COMPUTER SCIENCE
by
Sage A. Weil
December 2007
The Dissertation of Sage A. Weil
is approved:
Professor Scott A. Brandt, Chair
Doctor Richard Golding
Professor Charlie McDowell
Professor Carlos Maltzahn
Professor Ethan L. Miller
Lisa C. Sloan
Vice Provost and Dean of Graduate Studies
![](https://csdnimg.cn/release/download_crawler_static/3978988/bg2.jpg)
Copyright
c
° by
Sage A. Weil
2007
![](https://csdnimg.cn/release/download_crawler_static/3978988/bg3.jpg)
Table of Contents
List of Figures vii
List of Tables xiv
Abstract xv
Dedication xvii
Acknowledgments xviii
1 Introduction 1
1.1 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Related Work 7
2.1 Local File Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Client-Server File Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Distributed File Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3.1 Wide-area File Systems . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.2 SAN File Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.3 Object and Brick-based Storage . . . . . . . . . . . . . . . . . . . . . 13
2.3.4 Non-POSIX Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3 Ceph Architecture 17
3.1 Ceph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2 Client Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.2.1 File I/O and Capabilities . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2.2 Client Synchronization . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2.3 Namespace Operations . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3 Communication Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
iii
![](https://csdnimg.cn/release/download_crawler_static/3978988/bg4.jpg)
4 Distributed Metadata Management 27
4.1 Background and Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.1.1 Local File Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.1.2 Distributed File Systems . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.2 Metadata Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.1 Embedded Inodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2 Remote Links and the Anchor Table . . . . . . . . . . . . . . . . . . . 40
4.2.3 Large Journals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3 Adaptive Workload Distribution . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3.1 Subtree Partitioning as Soft State . . . . . . . . . . . . . . . . . . . . 43
4.3.2 Metadata Replication . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.3.3 Locking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3.4 Load Balance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.3.5 Subtree Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.3.6 Directory Fragments . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.3.7 Traffic Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.4 Failure Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.4.1 Journal Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.4.2 Failure Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.4.3 Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.4.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.5 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.5.1 Metadata Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.5.2 Embedded Inodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.5.3 Journaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.5.4 Adaptive Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.5.5 Metadata Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.5.6 Failure Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.5.7 Availability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.6 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.7 Experiences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5 Data Distribution 82
5.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.2 The CRUSH algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.2.1 Hierarchical Cluster Map . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.2.2 Replica Placement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.2.3 Map Changes and Data Movement . . . . . . . . . . . . . . . . . . . . 95
5.2.4 Bucket Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.3.1 Data Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.3.2 Reorganization and Data Movement . . . . . . . . . . . . . . . . . . . 107
iv
![](https://csdnimg.cn/release/download_crawler_static/3978988/bg5.jpg)
5.3.3 Algorithm Performance . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.3.4 Reliability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6 Distributed Object Storage 116
6.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.2 Distributed Object Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.2.1 Data Placement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
6.2.2 Cluster Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.2.3 Communication and Failure Model . . . . . . . . . . . . . . . . . . . 126
6.2.4 Monitors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.2.5 Map Propagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.3 Reliable Autonomic Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.3.1 Replication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.3.2 Serialization versus Safety . . . . . . . . . . . . . . . . . . . . . . . . 132
6.3.3 Maps and Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.3.4 Versions and Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
6.3.5 Failure Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.3.6 Client Locking and Caching . . . . . . . . . . . . . . . . . . . . . . . 142
6.4 Performance and Scalability . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.4.1 Scalability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6.4.2 Failure Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.5 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
6.6 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
7 Local Object Storage 162
7.1 Object Storage Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.2 Data Layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
7.3 Data Safety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
7.4 Journaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.5 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.6 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
8 Conclusion 169
8.1 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
8.1.1 MDS Load Balancing . . . . . . . . . . . . . . . . . . . . . . . . . . 169
8.1.2 Client Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
8.1.3 Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.1.4 Quotas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.1.5 Quality of Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
v
剩余238页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
- zfz62385642014-05-10基础知识,入门的教程!
- yanbingwei862013-08-31楼主应该说明,资料是一片论文,去网站都可以下道的
- sinofeng2017-04-01挺不错的,值得参考
- qinxiongying2014-04-26挺不错的,值得参考
- jinuobili2014-09-18对研究ceph有一定参考价值。
![avatar](https://profile-avatar.csdnimg.cn/default.jpg!1)
jiahe19871204
- 粉丝: 1
- 资源: 3
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)