MapReduce中文版

[7] Barbara Liskov, Sanjay Ghemawat, Robert Gruber, Paul Johnson, Liuba Shrira, and

Michael Williams. Replication in the Harp file system. In 13th Symposium on Operating

System Principles, pages 226–238, Pacific Grove, CA, October 1991.

[8] Lustre. http://www.lustreorg, 2003.

[9] David A. Patterson, Garth A. Gibson, and Randy H. Katz. A case for redundant arrays of

inexpensive disks (RAID). In Proceedings of the 1988 ACM SIGMOD International Conference

Proceedings of the Fifth NASA Goddard Space Flight Center Conference on Mass Storage

Systems and Technologies, College Park, Maryland, September 1996.

[12] Chandramohan A. Thekkath, Timothy Mann, and Edward K. Lee. Frangipani: A scalable

distributed file system. In Proceedings of the 16th ACM Symposium on Operating System

Principles, pages 224–237, Saint-Malo, France, October 1997

分类: Google论文 标签:

MuleSoft公司的CloudCat支持在Amazon EC2和GoGrid的云

上部署Web应用

2010年3月27日 blademaster 没有评论

作者 Srini Penchikala 译者 侯伯薇 发布于 2010年3月22日 上午8时33分

Tomcat进行手动的安装和配置。通过在CloudCat中使用预配置的Apache Tomcat镜像，开发者和操作

团队就可以在云中部署和测试他们的web应用程序，而不需要投资购买并存放物理服务器。目前CloudCat

已经在Amazon Elastic Compute Cloud (Amazon EC2 AMI) 和GoGrid（GoGrid GSI）的云环境中以

云服务的形式提供。它包括了运行在Linux（在GoGrid使用Redhat，EC2上使用Ubuntu）和MySQL上

的Apache Tomcat 6服务器。

Cloudcat服务器的主要特性包括：

为开发和测试Tomcat应用程序提供了Cloudcat。

使用MuleSoft的Tcat服务控制台提供了Cloudcat运行时的诊断工具

与Apache Maven集成，在开发和测试环境之间提供持续集成

与Tcat服务器的REST API集成，提供管理和控制

程序服务器。在开发中Tomcat很可靠，并且应用广泛，但是对于IT管理员来说，却很难在生产

环境中来管理，因为缺少好的操作工具和商业化的技术支持。当我们想在各种公有云中找到干

净的、即时的对Tomcat的支持镜像时，发现根本没有。而CloudCat正是我们填补该项市场空

白的初次尝试。通过使用我们的最佳实践和Tomcat的技术秘诀，还有我们在Amazon EC2和

GoGrid提供工具以及为Tcat服务器管理服务提供附加价值的经验，我们相信CloudCat会得到

试图寻找在云上部署应用的企业的青睐。

InfoQ：CloudCat能够被用于在生产环境中托管web应用程序吗，还是仅限于在云中在开发/QA环境中测

试应用程序？

CloudCat能够用于开发/测试环境，也可以用于生产环境。CloudCat包含了已经验证过的初始

化脚本，可以为IT操作员提供可靠和合适的重启以及服务器控制。

InfoQ：CloudCat服务器环境也支持负载平衡吗？在CloudCat中故障排除是怎么做的呢？

CloudCat可以与已经由云提供商所提供的负载平衡解决方案协同工作。我们在CloudCat自身

中不提供负载平衡的能力，但是可以与基础架构提供的能力协同工作。例如，用户可以在EC2

中使用Elastic负载平衡。

InfoQ：开发者和QA团队成员能使用新的CloudCat服务器来做性能测试吗？

在CloudCat中可以直接使用Tcat服务器，而没有任何附加费用。Tcat服务器为运行在Tomcat

实例上的web应用程序提供了深层次的诊断和调试能力。我们为CloudCat实例提供了这些能

力，同时也在Tcat服务控制台提供了同样的能力。此外，Tcat服务器还提供了部署的能力，它

使得将应用程序从开发环境迁移到测试环境最终到生产环境变得非常容易。

InfoQ：在新的CloudCat服务器上提供了什么样的监控工具呢？

Cloudcat实例可以从默认的云监控工具中监控，或者还可以从Tcat服务控制台监控。当

前，Cloudcat不提供任何警告的能力，但是任何行业领先的支持云的监控工具都能够监控

Cloudcat服务实例。

InfoQ：关于新特性，Cloudcat服务器产品将来的路线图是怎样的呢？

Cloudcat会始终是MuleSoft的战略投资所在。我们期望拓展Amazon EC2和GoGrid之外的云

分类: 小道消息 标签:

Google MapReduce中文版

2010年3月27日 blademaster 没有评论

Google MapReduce中文版

译者

: alex

摘要

MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一

个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后

再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述

我们的MapReduce实现运行在规模可以灵活调整的由普通机器组成的集群上：一个典型的MapReduce计

算往往由几千台机器组成、处理以TB计算的数据。程序员发现这个系统非常好用：已经实现了数以百计的

MapReduce程序，在Google的集群上，每天都有1000多个MapReduce程序在执行。

1、介绍

在过去的5年里，包括本文作者在内的Google的很多程序员，为了处理海量的原始数据，已经实现了数以

百计的、专用的计算方法。这些计算方法用来处理大量的原始数据，比如，文档抓取（类似网络爬虫的程

序）、Web请求日志等等；也为了计算处理各种类型的衍生数据，比如倒排索引、Web文档的图结构的各

种表示形势、每台主机上网络爬虫抓取的页面数量的汇总、每天被请求的最多的查询的集合等等。大多数

这样的数据处理运算在概念上很容易理解。然而由于输入的数据量巨大，因此要想在可接受的时间内完成

意识到我们大多数的运算都包含这样的操作：在输入数据的“逻辑”记录上应用Map操作得出一个中间

key/value pair集合，然后在所有具有相同key值的value值上应用Reduce操作，从而达到合并中间的数

据，得到一个想要的结果的目的。使用MapReduce模型，再结合用户实现的Map和Reduce函数，我们就

可以非常容易的实现大规模并行化计算；通过MapReduce模型自带的“再次执行”（re-execution）功

能，也提供了初级的容灾实现方案。

这个工作(实现一个MapReduce框架模型)的主要贡献是通过简单的接口来实现自动的并行化和大规模的分

布式计算，通过使用MapReduce模型接口实现在大量普通的PC机上高性能计算。

第二部分描述基本的编程模型和一些使用案例。第三部分描述了一个经过裁剪的、适合我们的基于集群的

合。MapReduce库的用户用两个函数表达这个计算：Map和Reduce。