气流数据测试
该存储库包含一些简单示例,这些示例说明了如何实现中所述的九个数据测试圈。 提供了一个docker容器来运行DTAP和数据测试示例。 Travis CI测试中执行了模拟管道测试和DAG完整性测试。
DAG完整性测试
DAG完整性测试已集成到我们的CI管道中,并检查气流文件中的DAG定义是否为有效的DAG。 这不仅包括检查拼写错误,还包括验证DAG中是否没有循环以及是否正确使用了运算符。
模拟管道测试
模拟流水线测试是作为CI流水线阶段实现的,并充当单个DAG任务的单元测试。 虚拟数据将生成并用于验证每个预期输入是否都来自您的代码。
数据测试
在dags目录中,您将找到一个包含3个任务的简单DAG。 这些任务中的每一个都有一个伴随测试,该测试已集成到DAG中。 这些测试在每次DAG运行时都运行,旨在验证在真实数据上运行时代码是否有意义。
DTAP
为了展示我们的DTAP逻辑,