LogAnalyzerAdvancedMapReduce:MapReduce 实现分区器和组合器

LogAnalyzerAdvancedMapReduce MapReduce 实现分区器和组合器 执照 Apache 许可。 分区器 分区器负责划分中间键空间并将中间键值对分配给化简器。 换句话说，分区器指定必须将中间键值对复制到的任务。 在每个减速器中，键按排序顺序处理。 > job.setPartitionerClass(LogPartitioner.class); 合路器 组合器是 MapReduce 中的一种优化，它允许在 shuffle 和 sort 阶段之前进行本地聚合。 组合器的主要目标是通过最小化将在映射器和化简器之间的网络中混洗的键/值对的数量来尽可能多地节省带宽。 > job.setCombinerClass(LogReducer.class); 检查 src/test/resource/SampleLog.txt 以查看演示文件。 执行作业> hadoop jar