理论部分-MapReduce论文-CN1
需积分: 0 111 浏览量
2022-08-08
23:18:50
上传
评论
收藏 307KB DOCX 举报
http://www.open-open.com/lib/view/open1328763069203.html
https://wenku.baidu.com/view/1aa777fd04a1b0717fd5dd4a.html
摘要
MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的
相关实现。用户首先创建一个 Map 函数处理一个基于 key/value pair 的数据集合，
输出中间的基于 key/value pair 的数据集合；然后再创建一个 Reduce 函数用来合
并所有的具有相同中间 key 值的中间 value 值。现实世界中有很多满足上述处理
模型的例子。
MapReduce 架构的程序能够在大量的普通配置的计算机上实现并行化处理。
这个系统在运行时只关心：
1. 如何分割输入数据；
2. 在大量计算机组成的集群上的调度；
3. 集群中计算机的错误处理；
4. 管理集群中计算机之间必要的通信。
采用 MapReduce 架构可以使那些没有并行计算和分布式处理系统开发经验
的程序员有效利用分布式系统的丰富资源。
我们的 MapReduce 实现运行在规模可以灵活调整的由普通机器组成的集群
上：一个典型的 MapReduce 计算往往由几千台机器组成、处理以 TB 计算的数
据。程序员发现这个系统非常好用：已经实现了数以百计的 MapReduce 程序，
在 Google 的集群上，每天都有 1000 多个 MapReduce 程序在执行。
介绍
Google 内部很多程序员，为了处理海量的原始数据，已经实现了各种专用
的计算方法，这些计算方法 用来处理大量的原始数据，比如，文档抓取（类似
网络爬虫的程序）、Web 请求日志等等；也为了计算处理各种类型的衍生数据，
比如倒排索引、Web 文档的图 结构的各种表示形势、每台主机上网络爬虫抓取
的页面数量的汇总、每天被请求的最多的查询的集合等等。然而由于输入数据量
的巨大，想要在可接受的时间内完成运算，只有将这些计算分布在成百上千的主
机上，如何处理并行计算、如何分发数据、如何处理错误？所有这些问题综合
在一起，需要大量的代码处理，因此也使得原本简单的运算变得难以处理。
为了解决上述复杂的问题，我们设计一个新的抽象模型，使用这个抽象模型，
我们只要表述我们想要执行的简单运算即可，而不必关心并行计算、容错、数据
分布、负载均衡等复杂的细节，这些问题都被封装在了一个库里面。设计这个抽
象模型的灵感来自 Lisp 和许多其他函数式语言的 Map 和 Reduce 的原语。我们
意识到我们大多数的运算都包含这样的操作：在输入数据的“逻辑”记录上应用
Map 操作得出一个中间 key/value pair 集合，然后在所有具有相同 key 值的 value
值上应用 Reduce 操作，从而达到合并中间的数据，得到一个想要的结果的目的。
使用 MapReduce 模型，再结合用户实现的 Map 和 Reduce 函数，我们就可以非
常容易的实现大规模并行化计算；通过 MapReduce 模型自带的“再次执行”（re-
execution）功能，也提供了初级的容灾实现方案。
Commented [ZZ1]: 也就是说，现实世界中有很多问题
可以用 mapreduce 模型来处理，同时也有很多问题不适
合用 mapreduce 的编程模型来处理。
Commented [ZZ2]: 意味着一个集群下是有很多的
MapReduce 程序在运行，很多的 MapReduce 任务如何协
调的问题等等就需要考虑了。
剩余16页未读，继续阅读
评论0