Apache Airflow:以编程方式创作、安排和监控工作流-开源

Apache Airflow 是一个社区创建的平台，用于以编程方式创作、调度和监控工作流。 当工作负载被定义为代码时，做所有这些事情要容易得多。 它们变得更具版本化、可测试性、可维护性和协作性。 使用 Airflow，您可以将工作流创作为任务的有向无环图 (DAG)。 这意味着您的任务在遵循指定依赖项的同时在一组工作人员上执行。 有了丰富的命令行实用程序，在 DAG 上执行复杂的手术变得简单明了。 Apache Airflow 拥有丰富实用的 UI，可轻松可视化生产中运行的管道、监控进度并在必要时解决问题。