ELK+FileBeat+Kafka分布式系统搭建图文教程.docx
5星 · 超过95%的资源 需积分: 41 187 浏览量
2020-06-06
13:13:12
上传
评论 2
收藏 1007KB DOCX 举报 
ELK+FileBeat+Kafka 分布式系统搭建图文教程
1.工作流程
1.lebeat 收集需要提取的日志文件，将日志文件转存到 kafka 集群中，logstash 处理 kafka 日志，格式化
处理，并将日志输出到 elasticsearch 中，前台页面通过 kibana 展示日志。
2.使用 kafka 集群做缓存层，而不是直接将 lebeat 收集到的日志信息写入 logstash，让整体结构更健壮，
减少网络环境，导致数据丢失。lebeat 负责将收集到的数据写入 kafka，logstash 取出数据并处理。
2.硬件条件支持
1.一共使用了 4 台服务器：
Ip
角色 部署服务
10.16.3.166
日志生产
lebeat
10.16.10.113
Es 子节点，kafka 集群，日
志转换
Zookeeper+kafka+
elasticsearch
10.16.10.114
10.16.8.187
10.16.3.165
Es 主节点，Kibana 前台展示
Logstash+
elasticsearch+kibana
2.每台服务器都需要安装 jdk，配置环境变量。
修改全局配置文件，作用于所有用户：sudo /etc/prole
export JAVA_HOME=JDK 安装路径
评论1
最新资源