Mesos资源共享平台
需积分: 9 131 浏览量
2015-01-26
11:31:39
上传
评论
收藏 102KB DOCX 举报
摘要
我们提出 Mesos，一个为了在多样集群计算框架之间共享商业化集群的平
台，比如 Hadoop 和 MPI。共享提高了集群的使用，避免了每个框架的数据复制。
Mesos 以细粒度的方式来共享资源，使框架通过轮流读取存储在每台机器上的
数据来实现数据局部性。为了支持今天的框架精密调度，Mesos 介绍称为资源
提供了一个分布式的两级调度机制，即 resource oers。Mesos 决定提供每个框
架有多少资源，而框架决定接受是哪些并在上面运行其计算的资源。我们的研
究结果显示，Mesos 可以分享不同的框架之间的集群时达到接近最优的数据局
部性，可以扩展到 50000（模拟）节点，是抵御故障。
1 简介
商务服务机群成为主要的计算平台，刺激了大量的 Internet 服务和越来越多
的数据密集型科学应用。受到这些应用的驱动，研究人员和从业者一直在开发
一系列多样化的集群计算框架，来简化编程集群。现在，已经开发出了很多的
框架。因此，组织想要 multiple frameworks in the same cluster，为每个应用程
序挑选最好。复框架之间的集群提高利用率，并允许应用程序共享访问大型数
据集，那些可能是太昂贵以致不能跨集群复制的。
共享集群的两种方法是：静态划分集群并且每个应用一个框架，和每个框
架分配一些虚拟机。可惜的是，这两种方法得不到高利用率和有效的数据共享。
主要难题是在这些方法和现有框架的分配粒度不协调。
本文中，我们提出 Mesos，一个资源共享层，允许跨多个集群计算框架的
细粒度共享，通过给框架一个访问集群资源的公共接口
Mesos 的主要的设计问题是怎么建立一个可扩展的、高效的、支持一系列
评论0
最新资源