将深度学习 框架 Keras 与大数据处理平台 Spark 相结合,为 Spark 扩展深度学习能力,实现深度 学习的分布式计算,使得大数据的获取与处理、数据模型的学习与应用都在一个统 一的分布式集群中。其次,利用 Spark Streaming 流式计算的特点,系统能够对网络 数据进行实时监控,对异常数据及时作出判断和响应。且通过对有效参数的调整控 制实现对 Spark Streaming 实时计算的性能分析与预测。最后,对于 Spark Streaming 实时计算性能的优化,设计了一种批次时间间隔的动态调整策略,实现了实时系统 低延迟与高吞吐量之间的平衡,提升计算性能。
相较于传统的分布式Keras深度学习集群,基于Spark的网络数据分析系统不需 要在深度学习与数据处理两个独立集群之间传递大型数据,并且能够轻松将 Keras 代码迁移到此平台上,减少了系统复杂性和数据传输延迟。同时对于 Spark Streaming 流计算来说,本系统能够更好的适应外部条件的变化,保持系统稳定性,提升计算 性能。