没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86293062/bg1.jpg)
每一台机器都要执行:
zookeeper-3.4.6
kafka 2.11
安装和配置zookeeper:
1前期的java准备: https://www.cnblogs.com/ysocean/p/9860529.html
2 cd zookeeper/conf/ & cp zoo_sample.cfg zoo.cfg
3 更改server参数们,把集群的所有ip都写上,注意server.*后面的数字不要重复
4 cd zookeeper/data & vim myid
5 把本机ip对应的server.*那个数字写入myid,只写这一个数字。
6 配置环境变量如下:
7 source /etc/profile
8 启动zookeeper:./zkServer.sh start
9 查看zookeeper状态:./zkServer.sh status
有一台机器是leader,剩下全是follwer
service iptables stop
10 关闭防火墙
systemctl stop firewalld
11 任意连接一台zookeeper查看状态:
./zkCli.sh -server 172.19.0.201:2181
Ls /
Ls /
Ls /brokers/ids
箭头2这样是正常的,集群现在有1-7 共7台服务器,一定要先启动kafka后验证这个。
安装和配置kafka:
1 vim config/ server.properties
2 数字改成zookeeper对应的myid数字
zookeeper和kafka的配置
2020
年
7
月
30
日
13:49
分区
kafka
和
zookeeper
的第
1
页
![](https://csdnimg.cn/release/download_crawler_static/86293062/bg2.jpg)
2 数字改成zookeeper对应的myid数字
3 是本机ip,端口不要改
4 把zookeeper的所有集群都写上
5启动kafka
./bin/kafka-server-start.sh ./config/server.properties
6 之前启动过kafka的机器查看config/ server.properties log_dirs对应目录下的meta. Properties文件,确定id是不是和broker.id一致
验证kafka:
1先负载均衡,每一台机器都要加上,这个最好不要一次执行一批,否则有失败的可能。失败了的话。从新执行就行了:
2创建topic:
bin/kafka-topics.sh --create --zookeeper
172.19.0.200:2181,172.19.0.201:2181,172.19.0.202:2181,172.19.0.204:2181,172.19.0.205:2181,172.19.0.206:2181,172.19.0.207:2181 --replication-
factor 3 --partitions 1 --topic test
创建名字为test的topic,备份为3,分区为1。Zookeeperip 是要把集群所有的ip都算上。
3 执行生产者生产数据,把所有ip都写上:
./kafka-console-producer.sh --broker-list
172.19.0.200:9092,172.19.0.201:9092,172.19.0.202:9092,172.19.0.204:9092,172.19.0.205:9092,172.19.0.206:9092,172.19.0.207:90
92 --topic test1
4 执行消费者消费数据,把所有ip都写上:
./kafka-console-consumer.sh --bootstrap-server
172.19.0.200:9092,172.19.0.201:9092,172.19.0.202:9092,172.19.0.204:9092,172.19.0.205:9092,172.19.0.206:9092,172.19.0.207:90
92 --topic test1
This is test1
选举机制
分区
kafka
和
zookeeper
的第
2
页
![](https://csdnimg.cn/release/download_crawler_static/86293062/bg3.jpg)
1显示所有topic
./kafka-topics.sh --list --zookeeper localhost:2181
2显示topic信息
./kafka-topics.sh --describe --zookeeper
172.19.0.200:2181,172.19.0.201:2181,172.19.0.202:2181,172.19.0.204:2181,172.19.0.205:2181,172.19.0.206,2181,172.19.0.207:2181 --
topic input
写一个ip也可以:
./kafka-topics.sh --describe --zookeeper 172.19.0.200:2181 --topic input
获取topic的偏移量
--broker-list 172.19.0.200:9092,172.19.0.201:9092,172.19.0.202:9092,172.19.0.204:9092,172.19.0.205:9092,172.19.0.206:9092,172.19.0.207 :9092 --topic inputtest
3 消费生产的数据
./kafka-console-consumer.sh --bootstrap-server
172.19.0.200:9092,172.19.0.201:9092,172.19.0.202:9092,172.19.0.204:9092,172.19.0.205:9092,172.19.0.206:9092,172.19.0.207:9092 --
topic input0 --from-beginning
4 replication和partitions 理解
Replication 是集群中的同一数据有多少份。Partitions代表集群被分成几个区。
例如replication:3,partitions:7,那么集群7台机器时候,且brokers = 7时候,代表一个机器有1个区.。每个区有三分数据,可能数据的偏移量
不同。以replication=7为例,查看:
理解:input1 位于partition0上,它的leader是7,只在7上保存,目前存活的使用者为7。Leader好像是partition0
5 基本可确定,ProducerRecord产生的记录,在创建kafka 的topic时候,只会给这个topic分配一个分区。
6 删除topic
6.1 给每一个kafka的配置文件配置:
kafka的使用和理解
2020年7月30日
13:55
分区
kafka
和
zookeeper
的第
3
页
剩余16页未读,继续阅读
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![application/msword](https://img-home.csdnimg.cn/images/20210720083327.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![ppt](https://img-home.csdnimg.cn/images/20210720083527.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![avatar](https://profile-avatar.csdnimg.cn/63ea54b471644710906fe7eb43a74ca3_weixin_35753291.jpg!1)
笨爪
- 粉丝: 45
- 资源: 333
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)
评论0