
什么是 FastDFS?
FastDFS 是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同
步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合
以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS 是一个应用级分布式文件存储服务,其采用中心型结构(类似 GFS、HDFS、TFS
等),主要用于大中型网站存储资源文件。FastDFS 具有轻量级,支持高并发放访问,负载
均衡,可扩展等优点。而 FastDFS 最大的亮点就是对小文件的存储性能较好,这主要来自于
其文件名策略。
1.小文件存储性能优化
小文件的性能瓶颈主要来自于对元数据服务器(如 FastDFS 中的 TrackerServer 或 TFS 中的
NameServer)的访问,因为当文件本身大小很小时,元数据存储所占空间与文件内容存储所
占空间的比例就变得较大,访问元数据所消耗资源与访问文件内容所消耗资源的比例也变得
较大。因此,通常对小文件存储的优化方法主要有两大类思路:一是减少访问元数据的次数,
比如 Cache 预取;二是减少元数据所占的存储空间,比如 FastDFS 使用的文件名策略。
2. FastDFS 文件名策略
FastDFS 中的文件名是在向 StorageServer 存储文件时由系统指定的,文件名中包含了
VolumeID 和 FileID。也就是说,当客户要读取某个文件时,通过在客户端对文件名进行解析,
就可以知道该文件存储在哪个 Volume 上和它在 StorageServer 中的 FileID。但是此时用户还
不能读取文件,因为他不知道 Volume 内各个 StorageServer 的 ip 地址,也不知道应该从
Volume 内的哪个 StorageServer 中读取。所以用户需手持欲访问的文件的 VolumeID 向
TrackerServer 询问,TrackerServe 会均衡当前各 StorageServer 的 IO 负载状况,返回一个最
佳的 StorageServer 的 ip 地址。最后用户与该 StorageServer 连接,出示欲访问文件的 FileID,
StorageServer 上会维持一个 FileID 对应偏移量的表,从而得到欲访问文件的偏移量。
可见,FastDFS 的文件名策略将文件存储位置信息隐含在文件名中,从而减少了元数据量,
达到了优化小文件存储性能的作用。
评论0