MapReduce架构

MapReduce 是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map 函数处理一个基于 key/value pair 的数据集合, 输出中间的基于 key/value pair 的数据集合;然后再创建一个 Reduce 函数用来 合并所有的具有相同中间 key 值的中间 value 值。现实世界中有很多满足上述处理模型的例子, 本论文将详细描述这个模型。