满足本地化计算的集群资源调度策略资源-CSDN文库

80 浏览量 2021-01-14 21:20:54 上传评论收藏 837KB PDF 举报

资源推荐

资源详情

资源评论

2014 年 11 月 Journal on Communications November 2014

第 35 卷第 Z2 期

通信学报

Vol.35

No. Z2

满足本地化计算的集群资源调度策略

郭平

1,2

，宁立江

，陈海珠

（1.重庆大学计算机学院，重庆 400044；2.软件理论与技术重庆市重点实验室，重庆 400044；3.重庆电子工程职业学院，重庆 401331）

摘要：将本地化计算分成节点本地化计算和机架本地化计算 2 个层次，分别称作节点本地化计算和机架本地化

计算。结合主导资源公平调度策略 DRF 和 Delay 调度约束机制提出一种满足本地化计算的集群资源调度策略

DDRF，旨在既能达到一个较高的本地化计算水平，又能保证资源调度的“公平性”。通过数据实验分析了在 DDRF

调度策略下本地化计算延迟对作业执行效率的影响。

关键词：DDRF；资源调度；本地化计算；计算集群

中图分类号：TP301.6 文献标识码：A 文章编号：1000-436X(2014)Z2-0001-08

Scheduling strategy for achieving locality in cluster

GUO Ping

1,2

, NING Li-jiang

, CHEN Hai-zhu

(1.College of Computer Science, Chongqing University, Chongqing 400044, China;

2.Chongqing Key Laboratory of Software Theory & Technology, Chongqing 400044, China;

3.Department of Software Engineering, Chongqing College of Electronic Engineering, Chongqing 401331, China)

Abstract: The data locality is divided into two levels. One is called the node data locality, which placing tasks on nodes

that contain their input data. The other one is called the rack data locality, which placing tasks on nodes whose rack con-

tains their input data. A new scheduling strategy called DDRF is proposed which combines the DRF and the delay. The

DDRF is not only able to meet high locality but also achieve fairness. In the DDRF, the simulation results show the in-

fluence on the efficiency of jobs’ implement.

Key words: DDRF; scheduling; locality; computing cluster

1 引言

资源分配是任何一个集群计算机系统必不可

少的关键模块。随着集群计算机系统的快速发展，

单个集群中的用户量和应用程序种类不断的增加。

不同的用户提交的应用程序通常具有不同的服务

质量要求，典型的应用可分为 3 种：耗时较长，对

完成时间没有严格要求的批处理作业；期望及时返

回结果的交互式作业；要求有固定量资源保证的生

产性作业。另外，不同的应用程序对资源的需求量

是不同的，可分为计算密集型作业、内存密集型作

业和 I/O 密集型作业等。因此，简单的资源调度策

略不仅不能满足多样化需求，也不能充分地利用硬

件资源，设计更加适用集群计算的资源调度策略不

可或缺。

目前，常见的集群资源调度策略有以下几种。

FIFO

[1]

即先来先服务。在 FIFO 调度策略下，所有

的作业被提交到一个统一的队列中，集群系统按照

提交的顺序依次运行作业，使用于批处理作业的场

景。FIFO 调度策略实现简单，不能充分利用集群资

源，也不能满足不同作业的服务要求。Max-Min

Fairness

[2]

即最大最小公平策略。该策略的基本含义

是使得资源分配向量的最小分量最大。Capacity

Scheduler

[3]

即计算能力调度。该调度策略以队列为

单位划分资源，支持多队列，每个队列可设置资源

使用上限和最低保障，资源空闲时可共享给其他队

收稿日期：2014-10-23

基金项目：国家自然科学青年基金资助项目（61201347）；重庆市自然基金资助项目（2012jjA40022, 2011jjA40027, 2012jjA40011

）

Foundation Items: The National Science Foundation for Young Scholars of China (61201347); The

Natural Science Foundation

Project of Chongqing CSTC(2012jjA40022, 2011jjA40027, 2012jjA40011)

doi:10.3969/j.issn.1000-436x.2014.z2.001

·2· 通信学报第 35 卷

列使用。Fair Scheduler

[4]

即公平调度等。该调度策

略按资源池来组织作业，并把资源公平地分到这些

资源池里，每个用户拥有独立的资源池，以保证每

个用户获得等同的集群资源。与 Capacity Scheduler

相似，它以队列为单位划分资源并为每个队列设置

资源使用上限和最低保障，同时，可为用户设置资

源使用上限。该机制允许队列间空闲资源共享，允

许每个队列单独配置调度策略（如 FIFO、Max-Min

Fairness 等）。DRF（dominant resource fairness）

[5]

即主导资源公平调度，它将 Max-Min Fairness 计算

用于主导资源上，从而将多类型资源调度问题转化

为单一资源调度问题。LATE Scheduler

[6]

适用于异

构集群，即集群中各节点性能不一。实时作业调度：

Deadline Scheduler

[7]

适用于软实时作业，即有完成

时间限制但允许一定超时的作业。Constraint-based

Scheduler

[8]

适用于硬实时作业，即有完成时间限制

且不容超时的作业。Dynamic Priority Scheduler

[9]

允

许用户动态调整自己获取的资源量以保证服务质

量要求。

随着数据规模的爆炸式增长，数据密集型计算

是集群计算机系统需要解决的问题，集群中大量的

数据移动成为集群系统发展的瓶颈。本地化计算概

念的提出为解决这个瓶颈提供了一种方案：移动计

算而不移动数据。然而，在集群计算机系统中，本

地化计算思想和公平资源调度策略之间存在冲突，

Delay Scheduling

[10]

调度机制为解决这个冲突设计

的。但是，如何控制任务合理等待及如何设置任务

等待时间仍是未能解决的关键问题。另一方面，

Delay Scheduling 机制只是针对 MapReduce 计算模

型下的 Map 任务。

本文基于 DRF 调度思想，提出满足本地化计

算且适用于多类型作业任务、多资源类型的资源调

度策略。

2 资源表示

集群将分散的物理机器通过网络聚集，共同为

用户提供透明服务，其中包含有多种类型的资源，

包括 CPU、内存、缓存、磁盘容量、网络、磁盘 I/O

等。能否让系统友好地理解应用程序调度资源的语

义是由资源管理系统的优劣决定的，当前任何一个

常见的资源管理系统能够表达的调度语义都是有

限的，这种有限性决定了它对某些应用是友好的，

但对于其他应用会带来性能瓶颈。

本文所说的资源管理不是以固定的资源组合

（如 Hadoop 中的 Slot

[11]

）作为分配单位的，而是

一种按照任务实际需求分配资源的细粒度资源分

配方式

[12]

。讨论的资源包括 CPU 和内存 2 种资源。

1) CPU：在操作系统层面上，CPU 资源是按照

时间片分配的，这样的特殊性决定了 CPU 划分的

复杂性。本文中 CPU 最小单位 ECU（amazon elastic

compute cloud compute unit），是以亚马逊弹性云平

台 EC2 的 CPU 资源划分方式为标准

[13,14]

。因此，

每个物理 CPU 可以虚拟成若干个 ECU，用户提交

的应用程序可以指定需要的 ECU 个数。

2) 内存：内存的分配以物理内存的 1 MB 为最

小单位。

由于集群通过网络聚集，常见的集群通常包括

多个机架，每个机架又包含多个节点。根据资源所

在位置的不同，资源可分成节点资源（资源在该节

点上）和机架资源（资源在该机架内的某个节点

上）。为方便讨论起见，本文中所指的资源管理只

支持资源分配的调度语义，并且该语义下的资源分

配向量可以是资源最小单位的任意组合形式，例如

以如下方式分配资源。

分配某个特定节点上的特定资源量组合。例如：

分配 node X 上的 4 个＜1ECU, 4×1 024 MB 内存＞。

分配某个特定机架上的特定资源量组合。例

如：分配 rack X 上的 3 个＜3ECU, 3 MB 内存＞。

分配某个节点上的特定资源量组合。例如：分

配 rack X 上的 3 个＜5ECU, 0 MB 内存＞。

3 DRF 调度策略和 Delay 调度约束

集群包括的资源是多类型的，并且不同的应

用程序对资源的需求消耗是不同的，根据需求的

不同，可分为计算密集型、内存密集型、I/O 密集

型、网络密集型等。例如用户 A 的一个任务资源

需求是＜1ECU, 4 GB 内存＞，用户 B 的一个任务

资源需求是＜3ECU, 1 GB 内存＞。本文将应用程序

对集群内不同资源的不同需求称为资源需求的异

构性。

3.1 DRF 调度策略及分析

在 DRF 调度中，将资源需求占比最大的资源

称为主导资源。针对资源需求的异构性，DRF 基本

设计思想是将 Max-Min Fairness 计算用于主导资源

上，从而将多类型资源调度问题转化为单一资源调

度问题。DRF 算法描述如下。

剩余7页未读，继续阅读

评论收藏

内容反馈

weixin_38715094

粉丝: 4
资源: 916

满足本地化计算的集群资源调度策略

基于模糊聚类的云计算集群资源调度算法.pdf

基于粒子群优化算法的集群调度策略.pdf

FusionCompute创建计算集群指南

集群调度发展历史ppt

互联网大数据：数据流计算环境下的集群资源管理技术.pdf

大数据应用在云计算平台的优化部署与调度策略研究.pdf

数据库集群技术

云计算数据中心网络中资源分配与调度研究.pdf

云计算与网格计算的深入比较研究

大数据处理框架中基于MDP的任务调度算法.pdf

智慧城市人工智能开放平台建设方案.pdf

面向垂直行业应用创新的边缘计算架构.pdf

DeepThings 在资源限制的物联网边缘集群中分布式自适应的深度学习推断1

cpp-DeepOps用于构建GPU集群的工具

大数据技术分享 大数据处理技术 阿里实时数据计算平台Garuda原理与实践 共33页.pdf

集群分布式以及需要注意的问题.docx

Apache+Mesos+官方文档_1.01

Hadoop平台中MapReduce调度算法研究.pdf

人工智能-机器学习-云计算平台上任务调度算法的研究.pdf

Linux集群文件系统GFS的研究应用.pdf

VCP6培训资料-M10_HostScalability.pptx

容器编排平台的边缘计算扩展.pptx

基于云计算的多路网络流媒体分布式最优存储与分配策略.pdf

Yarn的业界解决方案和未来方向.docx

QBD-CB-TWB-201504270030 曙光云桌面一体机StackView系列产品技术白皮书V1.0

通信与网络中的计算网格资源管理优化技术和相关算法研究

最新资源

大数据技术分享大数据处理技术阿里实时数据计算平台Garuda原理与实践共33页.pdf