bdp-base:大数据生态解决方案基础平台

大数据生态解决方案基础平台 1.1基础搜索 技术：java, db，es 搜索系统 统一搜索入口，搜索nosql db、es、db的数据 1.2碱基共通 技术：java, db, spring cloud 公共系统 属于公共系统抽离，提供基础公共服务 1.3基本任务 任务管理系统 场景1：数据分析的task管理 场景2：跑数据的task管理 场景3：定时task管理 1.4基渠 数据binlog采集 配置mysql binlog, 实时采集到kakfa队列，然后基于kafka队列做spark计算 1.5基础蜘蛛 基础爬虫系统 提供基础爬虫服务：扩展为gold爬虫，store爬虫 1.6 base-dts 封装数据传输系统，基于数据进行互传，暴露接口服务给其他服务调用 基于dataX封装数据传输系统 1.7基本告警 基于grafana、promethus做一个运维告警系统 运维告警系统