WaterSlide —轻量级的流元数据处理器
2020年3月更新
WaterSlide是一次事件处理体系结构，用于处理元数据。 它旨在从多个来源接收一组流事件，通过一组模块（“孩子”）对其进行处理，并返回有意义的输出。 用户指定用于处理数据，原始内容（例如文件，二进制结构）和有关内容的元数据的孩子的有向处理图（“管道”）。 孩子可以是过滤器，聚合器，注释器，解码器，翻译器和收集器。 仅当数据可用于处理操作时才执行代码。
WaterSlide可用作流MapReduce框架，用于复杂事件处理。 它旨在通过最小化副本，将数据分组和重用内存来有效地处理数据。 它包含专门设计的数据结构，旨在通过跨过程和系统分散的数据来大规模探索事件相关性。 与大多数流处理框架一样，许多WaterSlide处理功能都支持高效的近似计算，而不是效率较低的精确计算。
WaterSlide可用于多种用途。 它用于从实
评论0