Hadoop平台技术 分区操作案例.docx
版权申诉
40 浏览量
2022-07-12
22:19:59
上传
评论
收藏 15KB DOCX 举报
Partition 分区
1. Partition 分区概述
1) 默认的 Partitioner 分区规则。如果指定 ReduceTasks 数量大于 1，则分区的规
则是根据 key 的 hashCode 对 ReduceTasks 个数取模得到的，但是用户没法控制 key 存储到
哪个分区，其代码如下：
public class HashPartitioner<K, V> extends Partitioner<K, V> {
public int getPartition(K key, V value, int numReduceTasks){
return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
}
}
如果用户不指定 ReduceTasks 数量，默认就是 1，所有的数据存储到一个分区，最终
输出一个文件，结果为 part-r-00000。
2) 自定义 Partitioner 分区。为了业务的需要自定义分区的步骤如下：
a) 自定义继承 Partitioner，重写 getPartition()方法。
public class CustomPartitioner extends Partitioner<Text, FlowBean>{
@Override
public int getPartition(Text key, FlowBean value, int
numPartitions) {
// 控制分区代码逻辑
…
return partition;
}
}
b) 在 Job 驱动中，设置自定义 Partitioner。
job.setPartitionerClass(CustomPartitioner.class);
c) 自定义 Partition 后，要根据自定义 Partitioner 的逻辑设置相应数量的
ReduceTask。
job.setNumReduceTasks(5);
3) 如果自定义分区个数与设置的 ReduceTask 的数量不一致，会得到以下结果：
a) 如果 ReduceTask 的数量> getPartition 的结果数，则会多产生几个空的输
出文件 part-r-000xx；
b) 如果 1<ReduceTask 的数量<getPartition 的结果数，则有一部分分区数据无
处安放，会 Exception；
c) 如果 ReduceTask 的数量=1，则不管 MapTask 端输出多少个分区文件，最终结
果都交给这一个 ReduceTask，最终也就只会产生一个结果文件 part-r-00000；
d) 分区号必须从零开始，逐一累加。
2. Partition 分区操作案例
1) 案例描述
将序列化案例中得到的结果进行分区，要求将统计结果按照手机归属地即不同省份
输出到不同文件中（分区）。例如手机号 136、137、138、139 开头都分别放到一个独立
资源评论
努力搬砖的小王
- 粉丝: 16
- 资源: 7706
最新资源
- 基于宏晶STC单片机开发ISP程序Demo-使用Y-Modem协议软件源码+文档说明资料.zip
- 基于Vue+Echarts开发的风力发电机中传感器的数据展示监控
- 新普_软包电池_三是调试工程05301.zip
- 基于python遥感毕业设计TOA深度学习反演PM2.5源码+文档说明（高分项目）
- 基于stc8A系列单片机和ov7670模块制作的人脸识别系统
- 基于python的系统设计与实现博客系统.zip
- SSH客户机Xshell资源包
- 未命名1.cpp
- AD7177-2 AD7175-2, AD7172-2 AD717X-系列芯片多路复用模数转换器驱动程序C源码.zip
- 后端框架入门掌握SpringBoot和Django等后端框架电子资源pdf
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
