随着Spark大数据平台的广泛应用，暴露了实际应用中的一些问题，其中主要问题之一就是性能优化。 Spark的Shuffle模块是Spark的核心模块之一，也是其他一些分布式大数据计算框架的重要模块。 Shuffle模块的设计是直接决定大数据计算框架性能的关键因素。 Shuffle流程的主要优化参数涉及CPU利用率，I / O识字率，网络传输率，而这些因素之一可能是应用程序执行过程中的瓶颈。 网络数据传输时间消耗，I / O读写时间以及CPU利用率与数据处理的大小密切相关。 因此，Spark提供了压缩配置选项和不同的压缩算法供用户选择。 不同的压缩算法对压缩率和压缩率的影响不同，但是即使所有用户运行不同的应用程序，也通常由所有用户选择默认配置，因此无法实现最佳配置。 为了实现Shuffle流程压缩算法的最优配置，本文提出了一种Spark Shuffle流程的成本优化模型，使用户能够在应用程序执行之前获得最佳的压缩配置。 实验结果表明，压缩配置的预测模型具有58.3％的精度，所提出的成本优化模型可以将性能提高48.9％。
