DE_capstone_project

介绍¶ 该项目的目标是使EC2实例的启动和用于临时项目的Spark环境的创建自动化。 在这种情况下，Spark将用于创建一个存储在S3上的数据湖，数据用户可以通过S3 Select或Athena对其进行查询。 当您想到Spark时，就会想到分布式系统，AWS EMR无疑是一种优雅的解决方案，结合了易用性和可伸缩性，非常适合创建可以在其上使用Spark的集群。 但是，在某些情况下，仅在一台计算机上运行Spark可能就足够了。 在这种情况下，使用简单的EC2实例最有可能是最具成本效益的解决方案 虽然在机器上安装spark及其所有依赖项可能会令人生畏，所以我还是要开发一个双重项目： 第一部分致力于自动创建准备使用Spark的EC2实例 相反，第二部分专用于ETL管道，该管道将使用Spark创建存储在S3存储桶中的数据湖，供数据用户通过S3 Select或Athena查询 有关更多信息，请