常用分布式文件系统选型对比_minio的选型资源-CSDN文库

文件系统

1星需积分: 39 130 浏览量 2017-10-30 14:11:28 上传评论收藏 1.06MB PDF 举报

资源详情

资源评论

Analysis of Six Distributed File Systems

Benjamin Depardon, Ga¨el Le Mahec, Cyril S´eguin

To cite this version:

Benjamin Depardon, Ga¨el Le Mahec, Cyril S´eguin. Analysis of Six Distributed File Systems.

[Research Report] 2013, pp.44. <hal-00789086>

HAL Id: hal-00789086

https://hal.inria.fr/hal-00789086

Submitted on 15 Feb 2013

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of sci-

entiﬁc research documents, whether they are pub-

lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destin´ee au d´epˆot et `a la diﬀusion de documents

scientiﬁques de niveau recherche, publi´es ou non,

´emanant des ´etablissements d’enseignement et de

recherche fran¸cais ou ´etrangers, des laboratoires

publics ou priv´es.

Contents

1 Deﬁnitions and related work 2

1.1 Distributed ﬁle system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.2 Scalable architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 Transparency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3.1 Naming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3.2 Data access Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3.3 Caching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3.4 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.4 Fault tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.4.1 Replication and placement policy . . . . . . . . . . . . . . . . . . . 4

1.4.2 Synchronisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.4.3 Cache consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.4.4 Load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.5 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Introduction of distributed ﬁle systems surveyed 7

2.1 HDFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.2 Naming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.3 API and client access . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.4 Cache consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.1.5 Replication and synchronisation . . . . . . . . . . . . . . . . . . . 8

2.1.6 Load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.1.7 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 MooseFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.2 Naming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.3 API and client access . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.4 Replication and synchronisation . . . . . . . . . . . . . . . . . . . 9

2.2.5 Load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.6 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.3 iRODS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3.2 Naming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3.3 API and client access . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3.4 Cache consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3.5 Replication and synchronisation . . . . . . . . . . . . . . . . . . . 10

2.3.6 Load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3.7 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.4 Ceph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.4.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.4.2 Naming, API and client access . . . . . . . . . . . . . . . . . . . . 11

2.4.3 Cache consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.4.4 Replication and synchronisation . . . . . . . . . . . . . . . . . . . 11

2.4.5 Load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.4.6 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.5 GlusterFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.5.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.5.2 Naming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.5.3 API and client access . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.5.4 Cache consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.5.5 Replication and synchronisation . . . . . . . . . . . . . . . . . . . 13

2.5.6 Load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.5.7 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.6 Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.6.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.6.2 Naming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.6.3 API and client access . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.6.4 Cache consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.6.5 Replication and synchronisation . . . . . . . . . . . . . . . . . . . 14

2.6.6 Load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.6.7 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3 Analysis and Comparison 15

3.1 Scalability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.1.1 Discussion about architecture . . . . . . . . . . . . . . . . . . . . . 15

3.1.2 Small or big ﬁles? . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.2 Transparency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.2.1 File access & operations transparency . . . . . . . . . . . . . . . . 16

3.2.2 Fault detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.2.3 System access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.3 Fault tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.3.1 System availability . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.3.2 Data availability & data synchronisation . . . . . . . . . . . . . . . 18

3.3.3 Load balancing & cache consistency . . . . . . . . . . . . . . . . . 18

3.3.4 Test on data servers . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4 Tests achieved on the DFSs 20

4.1 Setting up the DFSs studied on grid5000 platform . . . . . . . . . . . . . 20

4.1.1 HDFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4.1.2 MooseFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.1.3 iRODS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.1.4 Ceph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.1.5 GlusterFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.1.6 Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.2 System accessibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2.1 HDFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2.2 MooseFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2.3 iRODS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2.4 Ceph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.2.5 GlusterFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.3 System availability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

剩余44页未读，继续阅读

评论收藏

内容反馈

昵称_tianf

2021-03-25

真的坑直接上传一个英文论文就完了。

常用分布式文件系统选型对比

评论1

最新资源

常用分布式文件系统选型对比

评论1

最新资源

相关推荐

分布式文件系统对比

分布式文件系统与传统文件系统的比较分析

分布式文件系统简要对比与分析.pdf

分布式文件系统选型分析.docx

Windows几种文件系统的比较

7种主流分布式文件系统介绍

WindowsServer2012 DFS分布式文件系统

各种文件系统的支持情况对比

几种嵌入式文件系统的对比

六大分布式文件系统分析.pdf

Hadoop分布式文件系统的模型分析

分布式文件系统PPT

开源分布式文件系统

经典分布式文件系统介绍

分布式文件系统

第3章-分布式文件系统HDFS.pdf

GFS分布式文件系统

设计分布式文件系统.doc

Hadoop分布式文件系统使用指南

01.分布式文件系统HDFS.pptx

典型分布式文件系统概述(一)

分布式文件系统的教程

FastDFS分布式文件系统

第2讲_分布式文件系统HDFS.pdf

分布式文件系统ppt

单元5--分布式文件系统HDFS.pptx

DS918.zip DS918.zip DS918.zip

群晖DS918+ dsm7.0.1 集成8125b网卡驱动 引导文件 镜像

syno_search_fullpack.zip

群晖DS918+ dsm7.0.1 集成8125b网卡驱动引导文件镜像