一个数据采集器，利用inputCollector和outputCollector组成pipeline的方式进行工作.zip

# CloudTrailCollector 数据采集器 目前支持数据源 输入： 国内腾讯云审计日志、华为云审计日志 海外AWS云审计日志、阿里云审计日志 输出： ES # 原理 配置分成input和output，一个input和output构成一个采集管道，支持配置多个input和output，管道数N*M关系 output使用condition字段来匹配寻找对应的input 目前支持input类型有 1. timer 每2s中输出一个字符串，用于测试。 2. tc_audit_meta_data 腾讯云审计日志 3. hw_audit_meta_data 华为云审计日志 4. aws_cloud_trail AWS云审计日志 5. ali_cloud_trail 阿里云审计日志 目前支持output类型有 1. elastic ES输出 2. console 数据打印到终端供测试使用 # 扩展 input编写 ``` GetName() string 该接口用于获取input名称，打印使用 Update(context context.Context, ch chan interface{}) 该接口用于从获取数据，ch是输出数据管道 使用registerInputCollector注册 ``` output编写 ``` GetName() string 该接口用于获取output名称，打印使用 Insert(context context.Context, body interface{}) error 该接口写入body数据 使用registerOutputCollector注册 ``` # 配置 ``` // 每个输出管道的工作并发数， 提高insert并发 worker = 4 //input 数组 [[input]] type = "aws_cloud_trail" endpoint = "" access_key = "xxxxx" #ak secret_key = "xxxxx" #sk region_id = "xxxxx" [[output]] type = "console" condition = "" // 所有input都会与之匹配 index = "" end_points = [] username = "" password = "" [[output]] type = "elastic" condition = "type == aws_cloud_trail" index = "aws_cloud_operation" end_points = ["http://127.0.0.q:9200"] username = "xxx" password = "xxx" ```