aws-airflow-stack：涡轮机：使您通气的裸机

涡轮 涡轮是简单但完整而高效的气流设置背后的裸机集合。 该项目旨在易于部署，非常适合测试，演示和展示Airflow解决方案。 还期望可以轻松地对其进行修补，从而使其无需花费太多精力即可在实际生产环境中使用。 只需单击几下即可进行部署，在几个字段中进行个性化设置，并在一些命令中进行配置。 总览 该堆栈主要由三个服务组成：Airflow Web服务器，Airflow调度程序和Airflow工作程序。 支持资源包括用于托管Airflow元数据数据库的RDS，用作代理后端的SQS，用于日志和部署捆绑的S3存储桶，用作共享目录的EFS以及由定时AWS Lambda测量的自定义CloudWatch指标。 所有其他资源都是保持风吹的常用样板。 部署和文件共享 通过CodeDeploy进行的部署过程非常灵活，可以针对每个项目结构进行定制，唯一不变的是/airflow airflow上的Airflow主目录。 它确保每个Airflow进程都具有相同的文件，并且可以正常升级，但最重要的是，它使部署真正变得非常快速和容易。 在/mnt/efs处还挂载有一个EFS共享目录，该目录可用于暂存不同计算机上