Kafka性能测试实例1

51Testing 软件测试网 www.51testing.com

Kafka 性能测试实例

1.概述

在分布式实时数据流场景下，随着数据量的增长，对 Kafka 集群的性能和稳定性的要求也

很高。本篇博客将从生产者和消费者两方面来做性能测试，针对具体的业务和数据量，来

调优 Kafka 集群。

2.内容

2.1 测试环境

本次测试的环境信息由三台物理机组成，具体信息如下所示：

内容如下：

# 使用老版本的 ProducerPerformance 工具类

exec $(dirname $0)/kafka-run-class.sh kafka.tools.ProducerPerformance

"$@"

51Testing 软件测试网 www.51testing.com

2.2.1 生产者测试参数

2.2.2 消费者测试参数

3.生产者测试

创建一个拥有 6 个分区、1 个副本的 Topic，设置不同的线程数并发送相同的数据量，查

看性能变化。测试脚本如下：

dn2:2181,

dn3:2181 --topic test_producer_perf --partitions 6 --replication-

factor 1

# 设置 1 个线程数

[hadoop@dn1 ~]$ kafka-producer-perf-test-0.8.sh --messages 5000000

--topics test_producer_perf --threads 1 --broker-list dn1:9092,

dn2:9092,

51Testing 软件测试网 www.51testing.com

dn3:9092

[hadoop@dn1 ~]$ kafka-producer-perf-test-0.8.sh --messages 5000000

--topics test_producer_perf --threads 20 --broker-list dn1:9092,

dn2:9092, dn3:9092

# 设置 25 个线程数

[hadoop@dn1 ~]$ kafka-producer-perf-test-0.8.sh --messages 5000000

--topics test_producer_perf --threads 25 --broker-list dn1:9092,

dn2:9092, dn3:9092

# 设置 30 个线程数

3.1.2 结论

向一个拥有 6 个分区、1 个副本的 Topic 中，发送 500 万条消息记录时，随着线程数的

增加，每秒发送的消息记录会逐渐增加。在线程数为 25 时，每秒发送的消息记录达到最

佳值，随后再增加线程数，每秒发送的消息记录数反而会减少。

3.2 分区数

（1）新建一个拥有 12 个分区、1 个副本的主题；

（2）新建一个拥有 24 个分区、1 个副本的主题；

（3）向拥有 12 个分区、1 个副本的主题中发送相同数量的消息记录，查看性能变化；

（4）向拥有 24 个分区、1 个副本的主题中发送相同数量的消息记录，查看性能变化。