没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
84页
基于 Hadoop 的海量小文件处理技术研究 ,主要工作包括两个方面: 1) 基于多层索引的小文件读写策略的研究与实现。本文根据 Hadoop 平台现 有小文件处理的思想,对海量小文件进行合并然后建立索引。其中索引结构的设 计是本文的创新点及研究重点,包括索引预处理、索引分层、索引分片等。通过 对小文件按类型进行合并,建立多层索引,并对Hadoop平台源代码进行相应改进, 海量小文件在 Hadoop 平台上耗费节点内存的问题得到解决,检索效率得到一定程 度提升、名字节点负担得到减轻、实用性也得到提高。 2) 基于缓存技术的小文件读取策略的研究与实现。本文实现了基于 Java 语言 的Adaptive Repalcement Cache缓存管理算法(ARC算法),并 提出改进的ARC算法, 以适应海量小文件中存在大量热点数据的情况。改进的 ARC 算法可以预测将会被 频繁访问的小文件并将其进行缓存,并动态置换缓存中的数据,以此提高热点小 文件的检索效率。
资源推荐
资源评论
资源评论
bbqm2012
- 粉丝: 0
- 资源: 11
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功