基于mapreduce计算框架的数据分析.zip

需求: 统计乘用车辆和商用车辆的数量和占比 输出结果: 乘用车辆 66478 0.9447326161410888 商用车辆 3889 0.05526738385891114 注意：数据的第11列的取值有: 非营运： 代表个人车辆 其它都为营运车辆： 公路客运， 幼儿校车， 警用。。。 步骤： 1. map:映射输出所有的乘用车辆和商用车辆的记录 combiner( 可选 ) 2. reduce: a. 统计乘用车辆和商用车辆的数量,写入一个map的映射中. key:车辆类型 value:数量, 同时定一个成员变量，记录车辆总和 reduce(){ // 求和 , 每个类型 数量, 存到 map } b. 重写reduce 中的cleanup ( reduce的作业的最后一步完成的) 方法，计算乘用车辆和商用车辆各自的销售数量和比例,输出到hdfs中. context.write ******* 因为是要算各类型的车所占的比例，必须要等所有的reduce结束后才能算，所以reduce中不能输出，只能将输出写到cleanup()中 3. reduce 的数目一定要设置为1, 不能>1, 因为如果大1的话，则每个reduce只对自己的 Map统计比例，那么都会是 100%.