没有合适的资源?快使用搜索试试~ 我知道了~
MapReduce-Collections:自定义IO格式、文件格式、日志处理、ipLookup、二级排序、自定义patitio...
共51个文件
java:45个
gitignore:1个
md:1个
需积分: 10 0 下载量 46 浏览量
2021-06-24
07:19:23
上传
评论
收藏 56KB ZIP 举报
温馨提示
该 repo 包含自定义 I/O 格式、文件格式、日志处理、ipLookup、二级排序和自定义 patitioner 的集合。 打包:从项目的根运行: mvn package 该软件包包含以下程序的列表: 1.平均字数程序使用map输出记录计数器来实现平均字数。MAP_OUTPUT_RECORDS给出从mapper发出的记录总数,reducer使用它来求平均值。 hadoop jar target/collections-1.0-SNAPSHOT-jar-with-dependencies.jar com.cloudwick.mapreduce.averageworcount.WordCountDriver input_path output_path **2. 自定义输入格式 ** 它以固定宽度格式读取文件。为简单起见,在驱动程序中对字段的宽度进行编码。 类 RecordRe
资源推荐
资源详情
资源评论
收起资源包目录
MapReduce-Collections-master.zip (51个子文件)
MapReduce-Collections-master
.gitignore 26B
src
main
resources
sample_apache_log.data 3KB
columntext-testdata 12KB
java
org
bkpathak
mapreduce
statuscount
StatusCountMapper.java 920B
StatusCountReducer.java 646B
StatusCountDriver.java 2KB
averagewordcount
AverageReducerWithRecords.java 1KB
WordCountDriver.java 2KB
TokenizerMapper.java 825B
logcustomwritable
LogCustomMapper.java 2KB
LogCustomWritableDriver.java 2KB
LogWritable.java 3KB
LogCustomReducer.java 660B
customwritable
TextPairWritable.java 2KB
TextPairMapper.java 938B
TextPairReducer.java 641B
TextPairDriver.java 2KB
customoutputformat
FixedWidthColumnOutputDriver.java 1KB
FixedWidthColumnOutputFormat.java 2KB
FixedWidthColumnRecordWriter.java 909B
logprocessingbycounter
LogCounterMapper.java 1KB
LogProcessCounterDriver.java 1KB
custompartitioner
LogMapper.java 918B
LogPartitionerDriver.java 2KB
StatusCodePartitioner.java 398B
LogReducer.java 644B
iplookup
GeoLocationLookupMapper.java 4KB
GeoLocationLookupReducer.java 738B
GeoLocationLookupDriver.java 2KB
customlogoutputformat
LogRecordWriter.java 823B
LogOutputFormat.java 2KB
LogOutputDriver.java 1KB
secondarysort
CustomPartitioner.java 424B
KeyComparator.java 687B
SecondarySortDriver.java 2KB
CompositeKey.java 2KB
GroupComparator.java 551B
SecondarySortMapper.java 1KB
SecondarySortReducer.java 511B
custominputformat
FixedWidthColumnRecordReader.java 5KB
FixedWidthColumnInputFormat.java 2KB
FixedWidthColumnDriver.java 2KB
customloginputformat
LogInputFormatDriver.java 1KB
LogRecordReader.java 5KB
LogInputFormat.java 1KB
test
java
org
bkpathak
mapreduce
statuscount
LogProcessingTest.java 2KB
averagewordcount
AveragePerMapperTesting.java 2KB
textpair
TextPairTest.java 2KB
LICENSE 1KB
pom.xml 3KB
README.md 5KB
共 51 条
- 1
资源评论
牟云峰
- 粉丝: 15
- 资源: 4566
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C语言基础-C语言编程基础之Leetcode编程题解之第30题串联所有单词的子串.zip
- C语言基础-C语言编程基础之Leetcode编程题解之第29题两数相除.zip
- C语言基础-C语言编程基础之Leetcode编程题解之第28题找出字符串中第一个匹配项的下标.zip
- 实验报告模板(1).docx
- C语言基础-C语言编程基础之Leetcode编程题解之第26题删除有序数组中的重复项.zip
- C语言基础-C语言编程基础之Leetcode编程题解之第25题K个一组翻转链表.zip
- hnu计算机系统作业-计算机系统基础课程大作业.zip
- 树莓派app.apk
- C++的基于同态加密技术的匿名电子投票系统源码.zip
- SW建模格式图.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功