logpipe:Logpipe 是用于管理批处理管道的实用程序

记录管 关于 Logpipe 是用于管理批处理管道的实用程序。 通过 cron 重复执行，文件流经以下 4 个阶段： stage1-incoming - incoming raw files stage2-holding - candidates awaiting validation for stage3 stage3-processing - raw files awaiting processing stage4-outgoing - cooked files awaiting transport to S3 在处理阶段执行的动作可以用任何语言编写，并使用执行。 管道的最后阶段通过将处理后的（煮熟的）输出上传到 。 Logpipe 是用 Bash 编写的，并利用了不可移植的 shell 功能。 logpipe 中故意缺少错误处理。 意外的输出将从 cron