金服平台数据分析系统各类日志数据采集方案.pdf

金服平台数据分析系统各类日志数据采集方案 金服平台数据分析系统各类日志数据采集方案旨在收集和分析移动App和Web页面的日志数据，以便更好地了解用户行为、优化业务逻辑和改进服务质量。本方案涵盖了移动App日志内容要求规范、在线日志和离线日志的采集和分析。 一、移动App日志内容要求规范 移动App日志内容要求规范是指移动App在使用过程中产生的日志数据的收集和分析。移动App日志内容可以分为在线数据、离线数据和动态数据三种类型。 1. 在线数据：即App后端服务所产生的日志数据，如服务接口的性能数据、服务接口的调用及其参数等。 2. 离线数据：即App客户端本身产生的数据，如用户在客户端的行为、崩溃行为等。 3. 动态数据：即综合动态数据，记录了用户开始操作一个App界面元素、发送Http请求、接收对应的Http响应、界面展现等时间点、过程中内存流量和处理失败原因等数据。 二、在线日志 在线日志可以分为两种：web服务器的配置化log和应用服务器的log。web服务器的配置化log如Nginx、Apache等web服务器的access.log，可以通过开启web服务器的相关日志功能实现日志记录。应用服务器的log包括应用服务器的配置化log和用户自定义的log。用户自定义log可以通过相关日志组件自己的debug、waring、error、info等级别的日志。 三、离线日志 离线日志可以分为两种：客户端的（本地）行为日志和客户端的（本地）异常日志。客户端的（本地）行为日志记录了用户在操作App的时候（客户端不调用底层服务的情况下）产生的行为，可以用来研究用户使用习惯、分析应用的使用热度等。客户端的（本地）异常日志可以用来监控客户端的崩溃行为和异常原因。 四、日志数据采集和分析 日志数据采集和分析是指将收集的日志数据进行分析和处理，以便更好地了解用户行为、优化业务逻辑和改进服务质量。通过对日志数据的分析，可以统计出服务成功率、服务耗时、连接成功率和连接耗时等性能和质量数据。 五、结论 金服平台数据分析系统各类日志数据采集方案旨在提供一个完整的日志数据采集和分析解决方案，为移动App和Web页面提供了一个全面的日志数据采集和分析平台，以便更好地了解用户行为、优化业务逻辑和改进服务质量。