大规模并行计算通信可扩展性—分析、优化与模拟
随着系统规模的扩大和结点计算能力的提高,通信已经成为制约并行计算可
扩展性的重要瓶颈。通信可扩展性问题,即分析通信受何种因素影响并且该影响
增大到何种程度会限制系统的可扩展性,是并行计算领域最具挑战性的理论问题
之一。
本文针对通信可扩展性问题,首次从性能加速比的角度量化了并行计算的通
信墙,并建立了通信可扩展性模型。基于通信可扩展性模型的分析结论,本文分
别针对程序优化和任务分配优化,提出了消息独立性指导下的程序优化技术和面
向多作业的分配优化技术。
最后,设计和实现了一款针对大规模并行计算的性能预测模拟器,该模拟器
可用于验证通信可扩展性模型的正确性以及并行系统的各种相关优化技术的可
扩展性。具体而言,本文的主要工作和创新点体现在:1.建立了通信可扩展性模
型(第二章)目前,国际上对于通信可扩展性问题大多是感性上的认识,并未对
其进行系统的定量研究。
本文首次提出了通信墙的定量化描述,给出了通信墙存在性定理。由此,本
文建立了通信可扩展性模型,提出了系统度量方法及基于通信可扩展性模型的并
行系统分类方法,量化了系统的通信可扩展性强弱和广义通信可扩展性强弱。
最后结合具体案例,分析了程序、并行机拓扑以及常见优化方法对通信可扩
展性的影响,比较了常见的巨型机拓扑的广义通信可扩展性强弱,指出优化系统
通信可扩展性和广义通信可扩展性的方向。2.提出了消息独立性指导下的程序优
化技术(第三章)基于指令重排的通信隐藏技术是优化程序性能的主要手段之一,
评论0
最新资源