分布式深度学习研究.docx资源-CSDN文库

版权申诉

4 浏览量 2023-03-09 18:44:08 上传评论收藏 12KB DOCX 举报

资源推荐

资源详情

资源评论

分布式深度学习研究

传统单机深度学习模型的训练耗时，动辄花费一周甚至数月的时间，让研究

者望而却步，因此深度学习并行训练的方法被提出，用来加速深度学习算法的学

习过程。文章首先分析了为什么要实现分布式训练，然后分别介绍了基于模型并

行和数据并行两种主要的分布式深度学习框架，最后对两种不同的分布式深度学

习框架的优缺点进行比较，得出结论。

标签：深度学习；分布式训练；模型并行；数据并行

1 概述

深度学习已经在计算机视觉，文本处理，自然语言识别等领域取得了卓越成

就，受到学术界和工业界的广泛关注。随着对深度学习领域研究的深入，有证据

表明增大模型参数规模和训练数据集，能有效的提高模型精度。但精度提升同时

也带来了巨大的训练时间成本。简单的采用单机加 GPU 计算的方式，受限于目

前 GPU 的显存限制和单机扩展能力，已经不能满足大型深层网络结构和超 TB

大小的训练集所要求的计算能力和存储空间。针对上述问题，研究者投入了大量

的工作，研究分布式深度学习训练框架，来提升训练效率。当前的分布式深度学

习框架主要包含模型并行（model parallelism），数据并行（data parallelism）两种

方法，两者的结构如图 1 所示，左边为模型并行结构，右边为数据并行结构。

2 模型并行化方法

在模型并行化方法里，分布式系统中的不同机器节点负责单个网络模型的不

同部分计算。例如，卷积神经网络模型中的不同网络层被分配到不同的机器。每

个机器只计算网络结构的一部分，能够起到加速训练的效果。模型并行化适合单

机内存容纳不下的超大规模的深度学习模型，其具有良好的扩展能力，尽管在实

际应用中的效果还不错，但是在模型能够在单机加载的情况下，数据并行化却是

多数分布式深度学习系统的首选，因为数据并行化在实现难度、容错率和集群利

用率方面都优于模型并行化，数据并行化方法适用于采用大量训练数据的中小模

型，具体介绍见第 3 小节。

3 数据并行化方法

在数据并行化方法里，分布式框架中的每个节点上都存储一份网络模型的副

本，各台机器只处理自己所分配到的一部分训练数据集，然后在各节点之间同步

模型参数，模型参数同步算法分为同步式和异步式两种。

3.1 同步式算法

标准的同步式算法，每次迭代都分为三个步骤，首先，从参数服务器

（Parameter Server，PS）中把模型参数 w 拉取（pull）到本地，接着用新的模型

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

内容反馈

版权申诉

G11176593

粉丝: 6643
资源: 3万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip