使用扩展的HDFS框架在Hadoop中合并小文件的系统方法-研究论文

Hadoop是可在Java平台上工作的开源框架。 它包含两个主要组件：HDFS（Hadoop分布式文件系统）和Map reduce，用于处理大量数据。 各种平台都可以生成大量的小文件。 处理小文件非常困难，因为从分布式系统中的块中搜索文件时会花费大量的查找和跳转。 本文的目的是开发一种改进的HDFS的有效方法，以处理来自各种用户的文件，并开发一种基于合并文件概念的有效方法。 通过将各种小文件合并为一个大文件，可以减少HDFS名称节点中的内存利用率。 所提出的技术用于以更好的方式存储和获取小文件。 中间内存缓存用于合并文件。