hadoop学习笔记（三）
需积分: 9 52 浏览量
2013-11-12
14:54:21
上传
评论
收藏 28KB DOCX 举报
从一大堆数中找出最大的数,类似 SQL 的 SELECT MAX(NUMBER) FROM
TABLE .这里写了个简单的 MapReduce,实现了该功能.我这里会生成测试数据,
同时在生成的时候会计算出最大值.待 MapReduce 跑玩后,你可以去输出路径查
看并进行对比.具体请查看代码:
Java 代码>>
1. packagecom.guoyun.hadoop.mapreduce.study;
2.
3. importjava.io.IOException;
4. importjava.util.StringTokenizer;
5.
6. importorg.apache.hadoop.conf.Configuration;
7. importorg.apache.hadoop.fs.FileSystem;
8. importorg.apache.hadoop.fs.Path;
9. importorg.apache.hadoop.io.LongWritable;
10. importorg.apache.hadoop.io.Text;
11. importorg.apache.hadoop.mapreduce.Job;
12. importorg.apache.hadoop.mapreduce.Mapper;
13. importorg.apache.hadoop.mapreduce.Reducer;
14. importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;
15. importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
16. importorg.slf4j.Logger;
17. importorg.slf4j.LoggerFactory;
18.
19. /**
20. *获得最大的数，类似 SQL：SELECTMAX(NUMBER)FROMTABLE
21. *注意这里只有一列>
22. *相比>@GetMaxValueMapReduceImproveTest这里速度会更慢>
23. *
24. */
25. publicclassGetMaxValueMapReduceTestextendsMyMapReduceSIngleColumnT
est{
26. publicstaticfinalLoggerlog=LoggerFactory.getLogger(GetMaxValueMa
pReduceTest.class);
27.
28.
29. publicGetMaxValueMapReduceTest(intdataLength)throwsException{
30. super(dataLength);
31. //TODOAuto-generatedconstructorstub
评论0
最新资源