package com.fickler.mapreduce.wordcount;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
* @author dell
* @version 1.0
*/
public class WordCountDriver {
public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
//获取job
Configuration configuration = new Configuration();
Job job = Job.getInstance(configuration);
//设置jar包路径
job.setJarByClass(WordCountDriver.class);
//关联mapper和reducer
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
//设置map输出的key,value输出类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//设置最终输出的key,value类型
job.setOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//设置输入路径和输出路径
FileInputFormat.setInputPaths(job, new Path("C:\\Users\\dell\\Desktop\\input"));
FileOutputFormat.setOutputPath(job, new Path("C:\\Users\\dell\\Desktop\\output"));
//提交job
boolean result = job.waitForCompletion(true);
System.exit(result ? 0 : 1);
}
}
没有合适的资源?快使用搜索试试~ 我知道了~
Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码
共26个文件
class:6个
java:6个
xml:5个
需积分: 10 0 下载量 171 浏览量
2022-09-12
20:35:23
上传
评论
收藏 36.07MB ZIP 举报
温馨提示
Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码 Hadoop 3.x(MapReduce)----【MapReduce 概述】---- 代码
资源详情
资源评论
资源推荐
收起资源包目录
MapReduceDemo.zip (26个子文件)
MapReduceDemo
pom.xml 2KB
target
maven-status
maven-compiler-plugin
compile
default-compile
inputFiles.lst 289B
createdFiles.lst 166B
testCompile
default-testCompile
inputFiles.lst 0B
MapReduceDemo-1.0-SNAPSHOT-jar-with-dependencies.jar 39.71MB
classes
log4j.properties 449B
com
fickler
mapreduce
wordcount2
WordCountDriver.class 2KB
WordCountMapper.class 2KB
WordCountReducer.class 2KB
wordcount
WordCountDriver.class 2KB
WordCountMapper.class 2KB
WordCountReducer.class 2KB
maven-archiver
pom.properties 121B
generated-sources
annotations
archive-tmp
MapReduceDemo-1.0-SNAPSHOT.jar 9KB
src
test
java
main
resources
log4j.properties 449B
java
com
fickler
mapreduce
wordcount2
WordCountDriver.java 2KB
WordCountMapper.java 1KB
WordCountReducer.java 1KB
wordcount
WordCountDriver.java 2KB
WordCountMapper.java 1KB
WordCountReducer.java 1KB
.idea
misc.xml 541B
jarRepositories.xml 864B
compiler.xml 546B
workspace.xml 3KB
.gitignore 184B
共 26 条
- 1
在人间负债^
- 粉丝: 1w+
- 资源: 44
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0