没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据kafka多机集群配置（zk、kafka、redis）

多机集群配置（zk、kafka、redis）

redis

kafka

需积分: 2 2 下载量 8 浏览量 2023-05-14 10:40:16 上传评论 1 收藏 78KB DOCX 举报

温馨提示

试读

12页

多机环境搭建zk、kafka、redis

资源推荐

资源详情

资源评论

上海市长宁区古北路 666 号嘉麒大厦 22 楼

22F, 666 Gubei Road, Shanghai, China 200336

www.exands.com

多机环境搭建

操作系统：Centos 6

JDK版本：jdk1.8.0_121

Kafka版本：kafka_2.12-0.10.2.0

环境介绍：

以7台主机为例子：主机ip地址如：(host0、host1…host6)

配置说明：

host0、host1、…host4 // 作为集群的中心机器用来选举leader

host5、host6 // 作为观察者角色不参与选举，同样可进行数据通讯

为了性能考虑新加入的设备都采用观察者角色接入集群

一：安装host0主机配置如下：

下载安装包如：kafka_2.12-0.10.2.0.tgz

下载地址：

http://kafka.apache.org/downloads

解压

tar -zxvf kafka_2.12-0.10.2.0.tgz

完成后配置文件路径：

/root/kafka_2.12-0.10.2.0/config

 broker配置文件：server.properties

上海市长宁区古北路 666 号嘉麒大厦 22 楼

22F, 666 Gubei Road, Shanghai, China 200336

www.exands.com

1. 默认是0每一个broker在集群中的唯一，要求是正数。当该服务器的

IP地址发生改变时，broker.id没有变化，则不会影响consumers的消费情

况

broker.id=0

2. Kafka启动监听的host信息

advertised.listeners=PLAINTEXT://host0:9092

3. zookeeper集群的地址，可以是多个，多个之间用逗号分开，单机就

用本机地址

zookeeper.connect=host0:2181

4. 每个topic的分区个数，若是在topic创建时候没有指定的话会被topic

创建时的指定参数覆盖（exacds要求默认配置为256个分区）

num.partitions =256

5. 等待 IO 线程处理的请求队列最大数，若是等待 IO 的请求超过这个数

值，那么会停止接受外部消息，应该是一种自我保护机制。一般不会成为

瓶颈点，除非 I/O 性能太差，这时需要配合 num.io.threads 等配置一同进

行调整。

queued.max.requests =500

6. broker 处理磁盘 IO 的线程数，数值为 cpu 核数 2 倍

num.io.threads =8

7. broker 处理消息的最大线程数，一般情况下数量为 cpu 核数

剩余11页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

属你最帅

粉丝: 0
资源: 3

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

多机集群配置（zk、kafka、redis）

单机配置（zk、kafka、redis）

组件zookeeper,redis,kafka,activemq,cat搭建

zk-kafka-redis-storm安装

Java架构师简历模板（P6、P7）.docx

redis:Redis集群配置示例

zk安装包111111

exporter部署手册

妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +Hive-0.13.1完全分布式环境整合安装文档V1.0.0.docx

CCTC 2016 多盟汪巍：移动广告平台的大数据实践

个人关于Java相关知识整理

zookeeper-3.4Windows版本

书单工具整理111.zip

java资深工程师简历.docx

Offset Explorer（原名Kafka Tool）3.1 版本-Windows64位版本

zookeeper-3.9.3 arm64架构 docker 镜像包

spark-sql-kafka-0-10-2.12-3.1.2.jar

kafkatool 连接kafka工具

kafka介绍(内部培训).pptx

深入理解Kafka：核心设计与实践原理_朱忠华著_带目录.rar

cmak-3.0.0.6.zip （0积分下载 原名Kafka Manager）

kafka-2.13-3.4.0.tgz

Apache Kafka实战.pdf

Axure数据图表元件库.zip

西瓜数据集

5、kafka监控工具Kafka-Eagle介绍及使用

Offset Explorer（原名Kafka Tool）3.1 版本-Mac版本

Flume 中文官方文档PDf

kafka2.4.0+zookeeper+kafka-connect集成环境包

kafkatool_64bit.zip

最新资源

cmak-3.0.0.6.zip （0积分下载原名Kafka Manager）