gobatch:Golang批处理库

GoBatch GoBatch是Go的批处理库。 数据读取器和处理器分别是batch.Source和batch.Processor实现。 实际的数据输入和一批物料的处理由用户完成，而GoBatch库提供的batch.Batch结构负责处理其余的管道。 批处理管道包括几个阶段： 从源读取，可能是通道，磁盘，Redis或几乎任何地方。 所需要的只是一个知道如何实现的Source实现。 数据被写入batch.PipelineStage提供的通道中，并传递给Batch ，后者将项目排队并准备进行处理。 它根据其配置决定要一起批处理多少个项目。 Batch将这些项作为PipelineStage Batch发送到Processor ，后者对数据执行所有必要的操作。 GoBatch的典型用法是在读取或写入远程数据库或Redis时使用。 通过将多个呼叫分批处理，可以减少连接并减少网络流量。