论文研究-基于负载均衡的MapReduce后备任务上限自适应算法.pdf

已有算法采用固定后备任务上限，不能动态适应负载水平变化。针对该问题，提出了基于负载均衡的MapReduce后备任务上限自适应算法。通过计算空闲节点强度和网络带宽分析系统负载水平，不断调整后备任务上限，精确控制后备任务数量，避免因过多空闲节点空载导致资源浪费或过度执行后备任务导致网络拥塞。实验表明，该算法能有效感知系统负载水平，对后备任务数量作出合理调整，并且比原算法在负载均衡和作业响应时间上有明显的提升。