性能评估-introduction.to.stochastic.processes.with.r

2.6 性能评估 我们通过在 Amazon EC2上进行一系列实验和用户应用程序的基准测试对 Spark和 RDDs进 行了性能评估。总体而言，我们的测试结果显示如下： • 在迭代机器学习和图计算中，Spark 性能要比 Hadoop模型好 80倍这些性能提升来自于 将数据以 java对象存入内存从而减少系统 IO和反序列化的开销 • 用户应用程序同样有很好的性能和扩展性。尤其，我们使用 Spark来运行一个原本运行 在 Hadoop上的分析报告的应用，相较于性能 Hadoop提升了 40倍.。 • 当出现节点故障时，Spark 可以快速地恢复那些丢失的 RDD分区。