第 ２７卷第 １期 重庆邮电大学学报（自然科学版） Ｖｏｌ．２７ Ｎｏ．１
２０１５年 ２月 ＪｏｕｒｎａｌｏｆＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） Ｆｅｂ．２０１５
ｄｏｉ：１０．３９７９／ｊ．ｉｓｓｎ．１６７３８２５Ｘ．２０１５．０１．０１７
一种基于混合索引的 ＨＤＦＳ小文件存储策略
收稿日期：２０１４０２２３ 修订日期：２０１４１１０２ 通讯作者：黄容 １３３４０３３２９５８＠１８９．ｃｎ
基金项目：重庆市教委科学技术研究项目（ＫＪ１２０５１３）；工信部 ２０１２年物联网发展专项资金（２５）
ＦｏｕｎｄａｔｉｏｎＩｔｅｍｓ：ＴｈｅＳｃｉｅｎｔｉｆｉｃａｎｄＴｅｃｈｎｏｌｏｇｉｃａｌＲｅｓｅａｒｃｈＰｒｏｇｒａｍ ｏｆＣｈｏｎｇｑｉｎｇＭｕｎｉｃｉｐａｌＥｄｕｃａｔｉｏｎＣｏｍｍｉｓｓｉｏｎ（ＫＪ１２０５１３）；
ＴｈｅＭＩＩＴ２０１２ＩＯＴＤｅｖｅｌｏｐｍｅｎｔＦｕｎｄｓＰｒｏｊｅｃｔ（２５）
熊安萍，黄 容，邹 洋
（重庆邮电大学 计算机科学与技术学院，重庆 ４０００６５）
摘 要：Ｈａｄｏｏｐ分布式文件系统（ｈａｄｏｏｐｄｉｓｔｒｉｂｕｔｅｄｆｉｌｅｓｙｓｔｅｍ，ＨＤＦＳ）因其稳定高效、低成本等优势，已被很多大型
企业广泛使用。针对 ＨＤＦＳ海量小文件存储时元数据服务器节点内存开销过大，合并文件中小文件访问效率不高
的问题，提出一种改进的基于混合索引的小文件存储策略，应用分类器分类标记小文件，并在元数据服务器建立
Ｈ－Ｂ＋树索引，在存储节点根据小文件大小建立不同的块内索引，达到提高小文件访问效率的目标。实现中采用
缓存结构，以提高客户端访问的响应速度，同时也有利于元数据服务器节点的内存负载。实验结果表明，基于混合
索引的小文件存储策略能有效提高小文件访问效率，并显著降低元数据节点内存开销。
关键词：Ｈａｄｏｏｐ分布式文件系统（ＨＤＦＳ）；小文件；元数据服务器；缓存；混合索引
中图分类号：ＴＰ３９３ 文献标识码：Ａ 文章编号：１６７３８２５Ｘ（２０１５）０１００９７０６
ＡｋｉｎｄｏｆＨＤＦＳｓｍａｌｌｆｉｌｅｓｓｔｏｒａｇｅｓｔｒａｔｅｇｙｂａｓｅｄｏｎｈｙｂｒｉｄｉｎｄｅｘ
ＸＩＯＮＧＡｎｐｉｎｇ，ＨＵＡＮＧＲｏｎｇ，ＺＯＵＹａｎｇ
（ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ４０００６５，Ｐ．Ｒ．Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｂｅｎｅｆｉｔｉｎｇｆｒｏｍｉｔｓｓｔａｂｉｌｉｔｙａｎｄｅｆｆｉｃｉｅｎｃｙ，ｌｏｗｃｏｓｔｓｔｏｒａｇｅｃａｐａｂｉｌｉｔｙ，ＨａｄｏｏｐｄｉｓｔｒｉｂｕｔｅｄｆｉｌｅｓｙｓｔｅｍＨＤＦＳｈａｓ
ｂｅｅｎｗｉｄｅｌｙｕｓｅｄｉｎｍａｎｙｌａｒｇｅｅｎｔｅｒｐｒｉｓｅｓ．Ｈｏｗｅｖｅｒ，ｐｒｏｃｅｓｓｉｎｇｍａｓｓｉｖｅｓｍａｌｌｆｉｌｅｓｏｎＨＤＦＳｃｏｓｔｓｔｏｏｍｕｃｈｍｅｍｏｒｙｏ
ｖｅｒｈｅａｄｏｆＮａｍｅＮｏｄｅ，ａｎｄｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆａｃｃｅｓｓｉｎｇｓｍａｌｌｆｉｌｅｓｆｒｏｍｍｅｒｇｅｄｆｉｌｅｉｓｎｏｔｓａｔｉｓｆａｃｔｏｒｙ．Ｔｏｄｅａｌｗｉｔｈｔｈｅｓｅｔｗｏ
ｉｓｓｕｅｓ
，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｏｐｔｉｍｉｚｉｎｇｓｔｒａｔｅｇｙｆｏｒｓｔｏｒｉｎｇａｎｄａｃｃｅｓｓｉｎｇｓｍａｌｌｆｉｌｅｓ，ｔｈａｔｉｓＳｍａｌｌＦｉｌｅｓＳｔｏｒａｇｅＳｔｒａｔｅｇｙ
ＢａｓｅｄｏｎＨｙｂｒｉｄＩｎｄｅｘ．Ｆｉｒｓｔｌｙ，ｔｈｅｓｔｒａｔｅｇｙｃｌａｓｓｉｆｉｅｓａｎｄｍａｒｋｓｓｍａｌｌｆｉｌｅｓｂｙａｃｌａｓｓｉｆｉｅｒ．Ｓｅｃｏｎｄｌｙ，Ｈ－Ｂ＋＿ｔｒｅｅｉｎｄｅｘ
ｏｎＮａｍｅＮｏｄｅａｎｄｄｉｆｆｅｒｅｎｔｂｌｏｃｋｉｎｄｅｘｏｎＤａｔａＮｏｄｅａｒｅｃｒｅａｔｅｄｔｏｉｍｐｒｏｖｅｓｍａｌｌｆｉｌｅａｃｃｅｓｓｅｆｆｉｃｉｅｎｃｙ．Ｆｉｎａｌｌｙ，ｔｏｅｎ
ｈａｎｃｅｔｈｅｒｅｓｐｏｎｓｅｓｐｅｅｄｏｆｔｈｅｃｌｉｅｎｔａｃｃｅｓｓｒｅｑｕｅｓｔ
，ｃａｃｈｅｓｔｒｕｃｔｕｒｅｉｓｕｓｅｄｔｏｒｅｌｅａｓｅｍｅｍｏｒｙｌｏａｄｏｆＮａｍｅＮｏｄｅ．Ｔｈｅ
ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｉｎｄｉｃａｔｅｔｈａｔｔｈｅｓｔｒａｔｅｇｙｉｓａｂｌｅｔｏｉｍｐｒｏｖｅｓｍａｌｌｆｉｌｅａｃｃｅｓｓｅｆｆｉｃｉｅｎｃｙ，ａｎｄｓｉｇｎｉｆｉｃａｎｔｌｙｒｅｄｕｃｅｔｈｅ
ｍｅｍｏｒｙｏｖｅｒｈｅａｄｏｆＮａｍｅＮｏｄｅ．
Ｋｅｙｗｏｒｄｓ：ｈａｄｏｏｐｄｉｓｔｒｉｂｕｔｅｄｆｉｌｅｓｙｓｔｅｍ（ＨＤＦＳ）；ｓｍａｌｌｆｉｌｅｓ；ｍｅｔａｄａｔａｓｅｒｖｅｒ；ｃａｃｈｅ；ｈｙｂｒｉｄｉｎｄｅｘ
０ 引 言
在互联网飞速发展、数据量暴增的时代，各种分
布式 文 件 系 统
［１］
应 运 而 生，如 ＧｌｕｓｔｅｒＦＳ，Ｌｕｓｔｒｅ，
ＧｏｏｇｌｅＦＳ，ＨＤＦＳ等。分布式文件系统（ｈａｄｏｏｐｄｉｓｔｒｉｂ
ｕｔｅｄｆｉｌｅｓｙｓｔｅｍ
，ＨＤＦＳ）
［２３］
作为 Ｈａｄｏｏｐ的分布式文
件系统，凭借其高可靠性、高扩展性、高效性、高吞吐
率等优势在互联网领域得到了广泛研究和应用。但
其也存在一些不足之处，如：元数据服务器节点单点
故障、负载均衡能力不足、小文件存储及处理问题等。
当前 ＨＤＦＳ中，小文件存储和读取效率普遍不
高，过多小文件元数据占用元数据服务器节点 Ｎａｍ
资源评论
