MapReduce操作实例-倒排索引.pdf
版权申诉
5星 · 超过95%的资源 185 浏览量
2022-07-11
16:38:42
上传
评论
收藏 438KB PDF 举报 
实操：倒排索引
1.创建 Mapper 类
package com.itcast.mr.InvertedIndex;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
public class InvertedIndexMapper extends Mapper<LongWritable, Text, Text,
Text>{
private static Text keyinfo = new Text();
private static final Text valueinfo = new Text("1");
@Override
/**
* 将K1，V1 转换成K2，V2
* key 是K1
* value 是V1
* context 是上下文
*/
protected void map(LongWritable key, Text value,
Mapper<LongWritable, Text, Text, Text>.Context context)
throws IOException, InterruptedException {
//拆分单词
String line = value.toString();
String[] fields = line.split(" ");
//获取文件名,首先要获取文件切片，然后通过切片获取文件名
FileSplit fileSplit = (FileSplit) context.getInputSplit();
String fileName = fileSplit.getPath().getName();
//通过上下文写入到K2,V2
for (String field : fields) {
keyinfo.set(field + ":" + fileName);
context.write(keyinfo, valueinfo);
}
}
}
2.创建 Combiner 类
package com.itcast.mr.InvertedIndex;
资源评论
m0_743966432024-01-19资源内容详细全面，与描述一致，对我很有用，有一定的使用价值。
