pyspark-example-project:为PySpark ETL工作和应用程序实施最佳实践的示例项目

PySpark示例项目 本文档旨在与pyspark-template-project存储库中的代码并行阅读。 这些共同构成了我们认为是使用Apache Spark及其Python（'PySpark'）API编写ETL作业的“最佳实践”方法。 该项目解决以下主题： 如何以易于测试和调试的方式构造ETL代码； 如何将配置参数传递给PySpark作业； 如何处理对其他模块和软件包的依赖； 和， 构成对ETL工作的“有意义”测试。 ETL项目结构 基本项目结构如下： root/ | -- configs/ | | -- etl_config.json | -- dependencies/ | | -- logging.py | | -- spark.py | -- jobs/ | | -- etl_job.py | -- tests/ | | --