SkaETL:专为日志处理和转换而设计的开源ETL

SkaETL SkaLogs ETL是专门针对日志和事件而设计的独特实时ETL。 核心功能： 集中式Logstash配置 基于常见预设模式的广泛列表的日志解析模拟 消费者流程：通过指导的工作流程进行摄取管道处理 摄取（来自特定的Kafka主题） 解析：处理多种输入格式的能力： CEF（HP Arcsight / MicroFocus）， 硝基（MacAfee）， 希腊， CSV， 解析模拟（能够在json日志上模拟多个预设grok模式） 转换：添加csv查找，添加字段，添加地理定位，大写，删除字段，格式布尔值，格式日期，格式双，格式电子邮件，格式地理点，格式ip，格式长，哈希，外部查找，查找列表，小写，重命名字段，交换大小写，修饰，取消大写，大写。 指标 函数：count，count-distinct，sum，avg，min，max，stddev，mean， 窗口类型