分布式系统监控平台-Overwatch架构设计（已开源）

新达达的服务端是一个庞大的、分布式的、微服务化的系统，每时每刻系统之间都有着海量的RPC请求（指广义上的RPC，包括REST接口调用、JDBC等，下同）。在搭建系统的初期，我们仅仅对各个系统的访问日志进行了监控。这样的监控可以让我们发现某个系统是否出现了系统错误（表现如响应了HTTP500状态码），但是在大多数情况下，我们无法快速定位到出现问题的系统，因为存在如下情况：该系统响应失败是因为调用其他系统失败，报出错误的系统本身并没有问题。调用其他系统失败是由于网络问题，请求并没有到达目标系统，所以在目标系统的日志中看不到任何异常。被调用的系统响应超时，导致调用方主动断开连接，在被调用方的日志中只