dist-keras：使用Keras和Apache Spark进行分布式深度学习，重点是分布式培训

分布式Keras 使用Apache Spark和Keras进行分布式深度学习。 介绍 分布式Keras是在Apache Spark和Keras之上构建的分布式深度学习框架，其重点是“最先进的”分布式优化算法。 我们以易于实现新的分布式优化器的方式设计了框架，从而使人们能够专注于研究。 支持多种分布式方法，例如但不限于使用数据并行方法训练合奏和模型。 我们提供的大多数分布式优化器均基于数据并行方法。 如所述，数据并行方法是一种学习范例，其中使用单个模型的多个副本来优化单个目标。 使用这种方法，我们可以显着减少模型的训练时间。 根据参数化，我们还观察到，与更传统的方法（例如，像实现一样）相比，可以实现更好的统计模型性能，但是，可以花更少的时间在模型训练上。 但是，这有待进一步研究。 注意：我的硕士论文提供了有关分布式深度学习问题的相当完整的介绍。 此外，本文描述的内容包括一些新颖的见解，例如参数陈旧性的重新定义，以及几个新的分布式优化器，例如AGN和ADAG。 安装 我们将指导您如何安装分布式Keras。 但是，我们将假定可以安装Apache Spark。 在以下小节中，我们描述了两