BigDL: 一个用于Apache Spark的分布式深度学习库-python

BigDL: 一个用于Apache Spark的分布式深度学习库 BigDL：Apache Spark 上的分布式深度学习 什么是 BigDL？ BigDL 是 Apache Spark 的分布式深度学习库； 使用 BigDL，用户可以将他们的深度学习应用程序编写为标准 Spark 程序，这些程序可以直接在现有 Spark 或 Hadoop 集群上运行。 为了轻松构建 Spark 和 BigDL 应用程序，为端到端分析 + AI 管道提供了高级 Analytics Zoo。 丰富的深度学习支持。 BigDL 以 Torch 为模型，为深度学习提供全面支持，包括数值计算（通过 Tensor）和高级神经网络； 此外，用户可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。 极高的性能。 为了实现高性能，BigDL 在每个 Spark 任务中使用英特尔 MKL/英特尔 MKL-DNN 和多线程编程。 因此，它比单节点 Xeon 上的开箱即用开源 Caffe、Torch 或 TensorFlow 快几个数量级（即与主流 GPU 相当）