word源码java-briefly:简要-用于作业流程控制的Python元编程库

word源码java 简述作业流程控制 杨周涵 () (Version 1.0) 概述 简而言之，它是一个基于 Python 的元编程库，旨在管理具有各种类型任务的复杂工作流，例如 Hadoop（本地、Amazon EMR 或 Qubole）、Java 进程和 shell 命令，并使用最少且优雅的语法。 简要地为作业执行提供资源管理，即基础设施和操作逻辑，以便开发人员可以专注于他们的作业逻辑。 在 ，我们每天在拥有数百台机器的集群上运行数千个 hadoop 作业。 我们使用 Briefly 来管理我们的关键管道，并保持数据处理作业的稳健性和效率。 支持的进程类型 简单的python流程 本地hadoop进程 Amazon Elastic Mapreduce hadoop 流程 Qubole hadoop进程 Java进程 壳程 每个进程都能够定义自己的依赖项并声明自己的输出。 该库提供了许多默认包装器，以帮助以最少的自定义开始。 特征 使用 a 创建作业流。 用于并行执行的多个 Hadoop 集群 (, ) 的资源管理，还允许自定义 Hadoop 集群。 每个进程的单独日志，使调试更容