统一监控平台方案(日志监控、方法监控、调用链路监控).pdf

统一监控平台方案 统一监控平台方案是指对软件系统和硬件进行全盘监控和管理，保障系统健康稳定运行，通过系统故障预警和告警，快速定位和解决问题。该方案涵盖了日志监控、方法监控、调用链路监控、JVM 监控、中间件监控、数据库监控、硬件监控等多个方面。 一、背景 随着公司软件系统和硬件的增多，需要一个统一的监控系统进行全盘监控和管理。当前的服务通常由很多不同系统模块组成，他们之间相互调用并通过 API 调用外部服务。每个交互是一个黑盒，怎样跟踪和监控这些模块之间的调用流并提供清晰的视图来定位问题区域和潜在瓶颈。 二、总体方案 总体方案包括监控内容、技术选型、监控项目版本划分、监控平台架构图等几个方面。 * 监控内容：系统日志监控、方法监控、JVM 监控、中间件监控、中间件监控（ZK、ES、Kafka）、数据库监控、硬件监控（服务器等） * 技术选型：Flume+Kafka+Spark+Elasticsearch+自研 UI+Pinpoint+Zipkin * 监控项目版本划分：V1.1 实现日志收集、检索和分析功能；V1.2 实现硬件资源管理；V1.3 实现方法调用跟踪；V1.4 实现调用链路跟踪 * 监控平台架构图：日志监控系统应用异常监控（method 调用异常）、应用性能监控、中间件监控（zk、es、kafka）、中间价系统资源监控、服务器监控、告警系统 三、日志监控方案 日志监控方案包括丰富的采集数据源支持、统一日志格式解析、日志存储和老化、日志搜索和分析等几个方面。 * 丰富的采集数据源支持：Spark ES 集群、自研 UI、Flume、Kafka、File 文件（tail, dir）、es、kafka、http post * 统一日志格式解析 * 日志存储和老化 * 日志搜索和分析 四、监控代码埋点 监控代码埋点是一种通过在应用程序中添加埋点代码来收集监控数据的方法。其优点是一方面使用者控制精准，可以非常精确地选择什么时候发送数据；同时使用者可以比较方便地设置自定义属性、自定义事件，传递比较丰富的数据到服务端。缺点是埋点代价比较大，每一个控件的埋点都需要添加相应的代码，不仅工作量大，而且限定了必须是技术人员才能完成。 五、全链路性能监控 全链路性能监控从整体维度到局部维度展示各项指标，将跨应用的所有调用链性能信息集中展现，可方便度量整体和局部性能，并且方便找到故障产生的源头，生产上可极大缩短故障排除时间。一个请求完整的调用链可能经过多个系统服务，调用关系：关注各个调用的各项性能指标，比如吞吐量（TPS）、响应时间及错误记录等。