没有合适的资源?快使用搜索试试~ 我知道了~
Hadoop中MapReduce基本案例及代码(一)
5星 · 超过95%的资源 16 下载量 54 浏览量
2021-01-07
10:25:32
上传
评论
收藏 214KB PDF 举报
温馨提示
试读
3页
概念 MapReduce是hadoop分布式计算框架。 MapReduce意味着在计算过程中实际分为两大步,Map过程和Reduce过程。 下面以一个统计单词次数简单案例为例: 数据源 Map类 import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; // 案例:统计每一个单词出现的次数 // KEYIN - 这一行的偏移量 --- // VALUEIN
资源推荐
资源详情
资源评论
Hadoop中中MapReduce基本案例及代码(一)基本案例及代码(一)
概念概念
MapReduce是是hadoop分布式计算框架。分布式计算框架。
MapReduce意味着在计算过程中实际分为两大步,Map过程和Reduce过程。
下面以一个统计单词次数简单案例为例:
数据源数据源
Map类类
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
// 案例:统计每一个单词出现的次数
// KEYIN - 这一行的偏移量 ---
// VALUEIN - 读取到这一行的数据
// KEYOUT - 输出的键的类型 --- 这一行中的每一个单词
// VALUEOUT - 输出的值的类型 --- 表示这一行中这个单词出现的次数
public class WordCountMapper extends Mapper{
@Override
// key -- 这一行的偏移量
// value --- 这一行的数据
protected void map(LongWritable key, Text value, Mapper.Context context)
throws IOException, InterruptedException {
System.err.println(value);
// 获取到一行数据
String str = value.toString();
// 以空格为单位进行切分
String[] arr = str.split(" ");
资源评论
- 不美的阿美2023-07-24这篇文章通过实例代码的演示,帮助读者更好地掌握MapReduce的核心概念。
- 熊比哒2023-07-24这篇文章对Hadoop中MapReduce的基本案例进行了详细介绍,非常实用。
- 亚赛大人2023-07-24作者使用简单明了的语言,让初学者也能轻松理解。
- 艾斯·歪2023-07-24虽然有些地方不够详细,但总体来说,这篇文章已经足够让读者对Hadoop中MapReduce有一个初步了解了。
- 无声远望2023-07-24作者提供了大量的案例和代码示例,非常适合初学者快速入门。
weixin_38517212
- 粉丝: 8
- 资源: 952
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功