没有合适的资源?快使用搜索试试~ 我知道了~
论文研究-异构环境下MapReduce动态任务调度技术研究.pdf
需积分: 1 0 下载量 200 浏览量
2019-07-22
19:19:53
上传
评论
收藏 1.03MB PDF 举报
温馨提示
试读
4页
针对MapReduce在异构环境下各节点性能不均衡,导致整体计算效率低下的问题进行了研究,从节点与任务两方面入手,提出了一种将节点性能量化并排序与将任务按相似度划分相结合的算法。该方法根据历史日志以及实时回传的日志信息将节点按照性能高低排序;根据任务执行完成的信息,将其与新任务进行比对得到相似度,从而推测出新任务的执行时间,执行时间长的认为是复杂的任务;最后进行动态调度,使高性能节点处理更复杂的任务。在随机生成的数据集上的实验结果表明,所提出的动态调度算法与默认调度算法相比,数据集为20 GB大小时执行速度提高27.4%,数据集为100 GB大小时执行速度提高了74.1%。
资源推荐
资源评论
资源评论
普通网友
- 粉丝: 485
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功