hadoop jar bigdata02-1.jar FlowCountDriver /flowcount/input /flowcount/output
做题思路
数据格式:
数据总共有11列,以\t来分割,其中手机号码、上下行流量分别为第1 8 9列
首先在map阶段获取到每个手机号码用户的上行和下行流量,其中手机号码以LongWritable类型保存,上下行流量连接成字符串以Text格式传输;
在reduce阶段,对上下行流量进行数字化处理,处理后结果仍以Text格式输出;
输出格式
手机号码 上行总流量 下行总流量 总流量
出现的问题:
在第一次运行过程中,出现了数字格式异常的错误,经检查是因为在不同列之间除了\t之外还可能存在空格,在加上trim函数除去空格之后,程序正常运行;
拓思爱诺大数据-第二次作业MapReduce编程
需积分: 16 60 浏览量
2017-06-24
14:25:56
上传
评论
收藏 284KB ZIP 举报
川大果果
- 粉丝: 18
- 资源: 37
最新资源
- 基于JavaScript的访客预约系统设计源码
- 基于Vue和ECharts的工作租房数据可视化系统设计源码
- 1040g0cg310ravpiu6ibg5pg00tsipsln3ju2d0g 2
- 基于Python的SAR图像去噪CNN-NLM设计源码
- redhat6升级到redhat7,过程redhat6.x-> redhat6.10->rehat7.9 主版本最高版本
- 基于Django的流程引擎设计源码
- 基于Node.js的Express框架与MySQL的后台管理系统设计源码
- 基于Java的Flink流批一体数据处理快速集成开发框架设计源码
- FirstFilterOrderCompare
- Screenshot_2024-03-28-19-17-25-020_com.ss.android.lark.jpg
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈