运用运用pandas matplotlib进行服务器日志分析进行服务器日志分析
1、导包、导包
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
2、、log日志读取日志读取
简单分析日志文件，查看日志的数据结构，主要是分隔方法，发现是以 分隔的
df = pd.read_csv(’./log.txt’, header = None, sep = ‘ ’)
df.head() #查看前5条数据
log日志没有标题行，所以header为空，sep是分隔符的类型
3、数据优化、数据优化
3.1、查看内存占用、查看内存占用
log日志中记录了大量数据，并不是都有用，无用的数据会占用内存，降低运行效率。
使用df.info()查看数据内存占用情况
3.2 为数据增加标题为数据增加标题
为了便于阅读，需要给数据增加标题
df.columns = [‘id’, ‘api’, ‘count’, ‘res_time_sum’, ‘res_time_min’, ‘res_time_max’, ‘res_time_avg’, ‘interval’, ‘create_at’] df.head(2)
查看前2行
3.3、查找无用数据、查找无用数据
3.3.1、、df.sample()随机采样法随机采样法
使用sample（）方法，进行随机采样，可以查看是否有无用的数据列。
如下可以看到，api和interval两列的数据都是重复且没有意义的，可以进行删除
资源评论
