没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
10页
一、实验目的 1. 通过实验掌握基本的MapReduce编程方法; 2. 掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。 二、实验平台 1. 操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04) 2. Hadoop版本:3.1.3 三、实验步骤(每个步骤下均需有运行截图) (一)编程实现文件合并和去重操作 对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。 ———————————————— 版权声明:本文为CSDN博主「Blossom i」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/weixin_60530224/article/details/135632280
资源推荐
资源详情
资源评论
1
实验 5 MapReduce 初级编程实践
一、实验目的
1. 通过实验掌握基本的 MapReduce 编程方法;
2. 掌握用 MapReduce 解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖
掘等。
二、实验平台
1. 操作系统:Linux(建议 Ubuntu16.04 或 Ubuntu18.04)
2. Hadoop 版本:3.1.3
三、实验步骤(每个步骤下均需有运行截图)
(一)编程实现文件合并和去重操作
对于两个输入文件,即文件 A 和文件 B,请编写 MapReduce 程序,对两个文件进行合
并,并剔除其中重复的内容,得到一个新的输出文件 C。下面是输入文件和输出文件的一个
样例供参考。
输入文件 A 的样例如下:
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 x
输入文件 B 的样例如下:
20170101 y
20170102 y
20170103 x
20170104 z
资源评论
Blossomi
- 粉丝: 1w+
- 资源: 93
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功