没有合适的资源？快使用搜索试试~ 我知道了~

文库首页后端Javaelk+filebeat+kafka日志系统搭建.docx

elk+filebeat+kafka日志系统搭建.docx

kafka

linux

elk

需积分: 5 2 下载量 74 浏览量 2023-07-05 10:22:11 上传评论收藏 380KB DOCX 举报

温馨提示

试读

11页

linux环境下搭建全套 elk+filebeat+kafka日志系统详细步骤。

资源推荐

资源详情

资源评论

elk+filebeat+kafka 日志系统搭建

基础安装文件准备(采用当前最新版 8.4.1,注意 8.*、7.*、6.*版本之间差异较大)

filebeat-8.4.1-linux-x86_64.tar.gz

kafka_2.12-2.8.1.tgz

apache-zookeeper-3.7.1-bin.tar.gz

elasticsearch-8.4.1-linux-x86_64.tar.gz

logstash-8.4.1-linux-x86_64.tar.gz

kibana-8.4.1-linux-x86_64.tar.gz

下载地址：

系统：CentOS 8.2 64bit

端口占用统计

filebeat

5044

kafka

19092（默认为 9092）

zookeeper

2181、2180

logstach

9600

elasticsearch

9200

kibana

5601

搭建步骤

一、安装 zookeeper

#解压 zookeeper

启动 zookeeper

tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /data/server/kafka/

zoo.cfg 配置如下

安装 kafka

#解压 kafka

server.properties

nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>& 1 &

#zookeeper 客户端与服务器之间的心跳时间,单位毫秒

tickTime=2000

#Follower 连接到 Leader 并同步数据的最大时间，如果 zookeeper 数据比较大，可以考虑调

大

initLimit=10

#Follower 同步 Leader 的最大时间

syncLimit=5

#ZooKeeper 的数据�录

dataDir=/data/server/elk/kafka/zookeeper/data

#主要用来存储事物日志，如果该参数不配置，则事物日志存储在 dataDir 路下

dataLogDir=/data/server/elk/kafka/zookeeper/log

#户端连接 zookeeper server 的端口，默认情况下为 2181

clientPort=2181

#zookeeper 管理端端口 3.6.3 以上版本新增。默认为 8080

admin.serverPort=2180

tar -zxvf kafka_2.12-2.8.1.tgz -C /data/server/kafka/

#broker.id 属性在 kafka 集群中必须要是唯一

broker.id=0

#kafka 部署的机器 ip 和提供服务的端口号（只需要内网访问，外网访问时需要增配

advertised.listeners）

listeners=PLAINTEXT://192.168.0.219:19092

#broker 处理消息的最大线程数，一般情况下不需要去修改

num.network.threads=3

#broker 处理磁盘 IO 的线程数，数值应该大于你的硬盘数

num.io.threads=8

#socket 的发送缓冲区，socket 的调优参数 SO_SNDBUFF

socket.send.buffer.bytes=102400

#socket 的接受缓冲区，socket 的调优参数 SO_RCVBUFF

socket.receive.buffer.bytes=102400

#socket 请求的最大数值，防止 serverOOM，message.max.bytes 必然要小于

socket.request.max.bytes，会被 topic 创建时的指定参数覆盖

socket.request.max.bytes=104857600

#kafka 数据的存放地址，多个地址的话用逗号分割

log.dirs=/data/server/elk/kafka/kafka/log

#每个 topic 的分区个数，若是在 topic 创建时候没有指定的话会被 topic 创建时的指定参数

覆盖

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

#数据存储的最大时间

log.retention.hours=168

#topic 的分区是以一堆 segment 文件存储的，这个控制每个 segment 的大小，会被 topic 创

建时的指定参数覆盖

log.segment.bytes=1073741824

#文件大小检查的周期时间

log.retention.check.interval.ms=300000

#zookeeper 地址

zookeeper.connect=192.168.0.219:2181

#ZooKeeper 的连接超时时间

zookeeper.connection.timeout.ms=18000

#空消费组延时 rebalance

group.initial.rebalance.delay.ms=0

剩余10页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

菲斯Face

粉丝: 83
资源: 13

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

elk+filebeat+kafka日志系统搭建.docx

ELK+FileBeat+Kafka分布式系统搭建图文教程.docx

ELK+FileBeat+Kafka分布式系统搭建图文教程.pdf

Centos7搭建ELK+filebeat.docx

ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台

linux平台centos7系统 - ELK+logback+kafka+nginx 搭建分布式日志分析平台.doc

Elk+filebeat搭建日志系统1

elk + kafka + filebeat搭建日志分析系统-附件资源

filebeat--日志推送到kafka.docx

elk日志分析系统搭建与配置

ELK+Kafka+Filebeat日志系统.md

filebeat+kafka+ELK 6.2.4版本安装与部署

Centos7 docker-compose安装ELK+Filebeat.zip

ELK+KAFKA+FILEBEAT

elk日志收集系统集群搭建资源包

elk:自己搭建的elk 日志系统docker版本

开源日志系统比较：scribe、chukwa、kafka、flume.docx

教你比别人更快更简单的搭建ELK日志系统群集elk软件包.rar

日志分析系统Elk + Filebeat安装包

ELK日志收集系统.docx

ELK5.5+rsyslog+kafka步骤详细说明.rar

ELK+filebeat

基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.docx

elk+springboot+kafka日志跟踪配置1

ELK-6.3和Filebeat-6.3在docker-compose环境下的安装部署和使用.pdf

linux aarch64架构libreoffice安装包

（牛客网C++课程）Linux 高并发Web服务器项目实战（带定时检测代码）

Linux项目设计_媒体播放器(6818).rar

openssh-server离线安装包

最新资源