Luigi:Python模块可帮助您构建批处理作业的复杂管道-开源

Luigi是一个Python（已测试3.6、3.7、3.8、3.9）软件包，可帮助您构建批处理作业的复杂管道。 它处理依赖关系解析，工作流管理，可视化，处理故障，命令行集成等。 Luigi的目的是解决通常与长时间运行的批处理相关的所有管道问题。 您希望将许多任务链接起来，使其自动化，否则将发生故障。 这些任务可以是任何事情，但通常都是长期运行的任务，例如Hadoop作业，向数据库转储数据或从数据库转储数据，运行机器学习算法或其他任何事情。 您几乎可以构建任何所需的任务，但是Luigi还附带了一个包含多个常用任务模板的工具箱。 它包括对在Hadoop中运行Python mapreduce作业以及Hive和Pig作业的支持。 它还带有HDFS的文件系统抽象和本地文件，以确保所有文件系统操作都是原子的。