用Kibana和logstash快速搭建实时日志查询、收集与分析系统

145 浏览量 2021-02-01 12:57:01 上传评论收藏 687KB PDF 举报

资源推荐

资源详情

资源评论

用用Kibana和和logstash快速搭建实时日志查询、收集与分析系统快速搭建实时日志查询、收集与分析系统

Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用

它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。

kibana 也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为

Logstash 和 ElasticSearch 提供的日志分析的 Web 界面

说到这里，我们看看 kibana 和 logstash到底能为我们做些什么呢？下面是kibana的界面

简单来讲他具体的工作流程就是 logstash agent 监控并过滤日志，将过滤后的日志内容发给redis(这里的redis只处理队列不做

存储)，logstash index将日志收集在一起交给

全文搜索服务ElasticSearch 可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示，下图是

Kibana官网上的流程图

好了让我们一步步的把这套环境搭建起来吧，先看看都需要安装什么软件包

ruby 运行Kibana 必须，

rubygems 安装ruby扩展必须

bundler 功能类似于yum

JDK 运行java程序必须

redis 用来处理日志队列

logstash 收集、过滤日志

ElasticSearch 全文搜索服务(logstash集成了一个)

kibana 页面展示

这里有三台服务器

192.168.233.128 logstash index，ElasticSearch，kibana，JDK

192.168.233.129 logstash agent，JDK

192.168.233.130 redis

首先到 logstash index服务器上面，logstash分为 index和aget ，agent负责监控、过滤日志，index负责收集日志并将日志交

给ElasticSearch 做搜索

此外 logstash 的收集方式分为 standalone 和 centralized。

standalone 是所有功能都在一个服务器上面，自发自收，centralized 就是集中收集，一台服务器接收所有shipper(个人理解就

是logstash agent)的日志。

其实 logstash本身不分什么 shipper 和 collector ，只不过就是配置文件不同而已，我们这次按照集中的方式来测试

在 logstash index上安装基础的软件环境

[192.168.233.128 root@nodec:~]

# cd /soft/

[192.168.233.128 root@nodec:/soft]

# wget http:

//down1.chinaunix.net/distfiles/jdk-6u13-dlj-linux-i586.bin

从oracle下载实在是太慢了，

从CU下载会快一些，如果需要最新版本请访问这里

http://www.oracle.com/

technetwork/java/javase/downloads/jdk7-downloads-1880260.html

[192.168.233.128 root@nodec:/soft]

# sh jdk-6u13-dlj-linux-i586.bin

输入yes 便开始安装了

安装完成后设置一下 JAVA_HOME

[192.168.233.128 root@nodec:/soft/Kibana-0.2.0]

# vim /etc/profile

export JAVA_HOME=/usr/java

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=

.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

安装ruby 就比较简单了(Kibana需要ruby 1.8.7以上版本)

[192.168.233.128 root@nodec:/soft]

# yum install ruby rubygems

..... 安装内容省略

安装完成后用 rubygems 来安装bundler

[192.168.233.128 root@nodec:/soft]

# /usr/bin/gem install bundler

.....

ok 这样基本的环境就已经有了，下面就是安装kibana 和 logstash

其实logstash 就是一个java脚本，不需要安装... 下载即用

[192.168.233.128 root@nodec:/soft]

# wget http:

//logstash.objects.dreamhost.com/release/logstash-1.1.0-monolithic.jar

现在看看这个脚本应该怎么去执行

[192.168.233.128 root@nodec:/soft]

# java -jar /soft/logstash-1.1.0-monolithic.jar -h

No such command "-h"

Available commands:

-v

-V

--version

agent

web

test

显然没有 -h 参数，

不过列出了能用的参数，但是logstash的参数可不止这些，

java -jar /soft/logstash-1.1.0-monolithic.jar agent --help

这些是在agent模式下的命令参数

-f, --config CONFIGFILE

Load the logstash config from a specific file,

directory, or a wildcard. If given a directory or wildcard,

剩余8页未读，继续阅读

评论收藏

内容反馈

weixin_38724611

粉丝: 3
资源: 928

用Kibana和logstash快速搭建实时日志查询、收集与分析系统

Kibana和logstash

最好的日志分析工具（永久免费）

ELK详细搭建及使用笔记word文档

StirngBoot+ELK+Kafka记录日志，超详细搭建过程！

ELKstack权威指南【饶琛琳】

基于Docker快速搭建ELK的方法

从零开始设计并构建网站防护系统

从零开始设计并构建“金科云盾”网站防护系统（全国云计算应用创新大赛一等奖作品），使用Nginx实现反向代理，负载均衡，统一日志

ELK-6.3和Filebeat-6.3在docker-compose环境下的安装部署和使用.pdf

搭建JAVA企业级后台服务架构与运维架构

Qt 5实现串口调试助手 （源工程文件、0积分下载）

【SystemVerilog】路科验证V2学习笔记（全600页）.pdf

AutoSAR标准协议4.2.2

光伏-储能并网系统仿真.rar

XCP协议的规范文档

GD32替换STM32注意事项.pdf

NPPJSONViewer.zip

蓝牙BLE协议中文版.pdf

CANoe通过CAPL脚本实现自动测试

电路分析基础第二版PDF电子书免费下载

qt样式表一键生成（花狗Fdog）

Tangent免费.rar

CMSIS-DAP使用说明及驱动.rar

VS2015安装证书，JavaScript_ProjectSystem.msi，JavaScript_LanguageService.msi

BaiduOCR.zip

Elsevier期刊word模板.zip

rpa拆包工具（小白适用）

最新资源

Qt 5实现串口调试助手（源工程文件、0积分下载）