|
AutoDist是TensorFlow的分布式深度学习培训引擎。 AutoDist提供了一个用户友好的界面，以可扩展性和最少的代码更改在许多GPU上分布各种深度学习模型的培训。
介绍
与专用的分布式ML系统不同，AutoDist的创建是为了以优异的全面性能加快各种DL模型的速度。 AutoDist通过以下方式实现此目标：
编译：AutoDist将DL模型的并行化表示为标准化的编译过程，优化了ML并行化的多个维度，包括同步，分区，放置等。
可组合的体系结构：AutoDist包含一个灵活的后端，可以表达各种不同的ML并行化技术，并允许构成混合了不同分布式ML系统体系结构的分布策略。
模型和资源意识：AutoDist在编译过程的基础上分析模型，并生成更多适合模型属性和集群规格的最佳分配策略。
除了所有这些高级功能之外，AutoDist旨在将复杂的分布式系统与ML原型分离，并公开了一个简单的API，使所有级别的用户都可以轻松使用和在不同的分布式ML技术之间进行切换。
有关性能的详细信息，请参阅我们的。
使用AutoDist
安装：
pip install autodist
