Google技术之MapReduce
3星 · 超过75%的资源 需积分: 3 25 浏览量
2010-09-08
19:14:05
上传
评论
收藏 98KB DOC 举报 
MapReduce:超大机群上的简单数据处理
摘要
MapReduce 是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个 map 函数处理一个
key/value 对,从而产生中间的 key/value 对集.然后再指定一个 reduce 函数合并所有的具有相同中间
key 的中间 value.下面将列举许多可以用这个模型来表示的现实世界的工作.
以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割
输入数据,在机群上的调度,机器的错误处理,管理机器之间必要的通信.这样就可以让那些没有并行分布式
处理系统经验的程序员利用大量分布式系统的资源.
我们的 MapReduce 实现运行在规模可以灵活调整的由普通机器组成的机群上,一个典型的
MapReduce 计算处理几千台机器上的以 TB 计算的数据.程序员发现这个系统非常好用:已经实现了数以
百计的 MapReduce 程序,每天在 Google 的机群上都有 1000 多个 MapReduce 程序在执行.
1.介绍
在过去的 5 年里,作者和 Google 的许多人已经实现了数以百计的为专门目的而写的计算来处理大量
的原始数据,比如,爬行的文档,Web 请求日志,等等.为了计算各种类型的派生数据,比如,倒排索引,Web 文
档的图结构的各种表示,每个主机上爬行的页面数量的概要,每天被请求数量最多的集合,等等.很多这样的
计算在概念上很容易理解.然而,输入的数据量很大,并且只有计算被分布在成百上千的机器上才能在可以接
受的时间内完成.怎样并行计算,分发数据,处理错误,所有这些问题综合在一起,使得原本很简介的计算,因为
要大量的复杂代码来处理这些问题,而变得让人难以处理.
作为对这个复杂性的回应,我们设计一个新的抽象模型,它让我们表示我们将要执行的简单计算,而隐
藏并行化,容错,数据分布,负载均衡的那些杂乱的细节,在一个库里.我们的抽象模型的灵感来自 Lisp 和许多
其他函数语言的 map 和 reduce 的原始表示.我们认识到我们的许多计算都包含这样的操作:在我们输入数
据的逻辑记录上应用 map 操作,来计算出一个中间 key/value 对集,在所有具有相同 key 的 value 上应用
reduce 操作,来适当的合并派生的数据.功能模型的使用,再结合用户指定的 map 和 reduce 操作,让我们
可以非常容易的实现大规模并行化计算,和使用再次执行作为初级机制来实现容错.
这个工作的主要贡献是通过简单有力的接口来实现自动的并行化和大规模分布式计算,结合这个接口
的实现来在大量普通的 PC 机上实现高性能计算.
剩余16页未读，继续阅读
资源评论
grapeisme2012-11-08很简洁，挺明白
