Hadoop源码解析---MapReduce之InputFormat
需积分: 14 56 浏览量
2016-04-28
09:03:05
上传
评论
收藏 601KB PDF 举报
[Hadoop
源码解读
]
（一）
MapReduce
篇之
InputFormat
平时我们写 MapReduce 程序的时候，在设置输入格式的时候，总会调用形如
job.setInputFormatClass(KeyValueTextInputFormat.class);来保证输入文件按照我们想要的格式被读取。所
有的输入格式都继承于 InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的
FileInputFormat，用来读取数据库的 DBInputFormat 等等。
其实，一个输入格式 InputFormat，主要无非就是要解决如何将数据分割成分片[比如多少行为一个分片]，
以及如何读取分片中的数据[比如按行读取]。前者由 getSplits()完成，后者由 RecordReader 完成。
不同的 InputFormat 都会按自己的实现来读取输入数据并产生输入分片，一个输入分片会被单独的 map
task 作为数据源。下面我们先看看这些输入分片(inputSplit)是什么样的。
InputSplit：
我们知道 Mappers 的输入是一个一个的输入分片，称 InputSplit。InputSplit 是一个抽象类，它在逻辑上
包含了提供给处理这个 InputSplit 的 Mapper 的所有 K-V 对。
public abstract class InputSplit {
public abstract long getLength() throws IOException, InterruptedException;
public abstract
String[] getLocations() throws IOException, InterruptedException;
}
getLength()用来获取 InputSplit 的大小，以支持对 InputSplits 进行排序，而 getLocations()则用来获取存
储分片的位置列表。
我们来看一个简单 InputSplit 子类：FileSplit。
public class FileSplit extends InputSplit implements Writable {
private Path file;
private long start;
private long length;
private String[] hosts;
FileSplit() {}
public FileSplit(Path file, long start, long length, String[] hosts) {
this.file = file;
剩余57页未读，继续阅读
资源评论
