网络状态感知的MapReduce作业洗牌数据传输调度研究

MapReduce作业在洗牌阶段花费大量时间，因此有效的洗牌数据传输调度可以提高MapReduce的性能。数据中心网络中，常有一些周期性的数据流传输。在考虑已知这些周期性数据流传输的情况下，为MapReduce的洗牌数据传输调度问题建立了优化模型，并设计了一个有效的数据传输调度算法。在网络空闲时间段大小相同的情况下，证明了所提算法是近似比为3/2的近似算法。仿真实验结果表明，该算法能够有效地利用网络资源，减少洗牌数据流的调度长度。