kafkapython教程-Kafka快速入门（十二）-Python客户端.pdf
82 浏览量
2023-06-11
09:42:36
上传
评论
收藏 206KB PDF 举报
kafkapython教程_Kafka快速⼊门（⼗⼆）——Python客户端
Kafka快速⼊门(⼗⼆)——Python客户端
⼀、confluent-kafka
1、confluent-kafka简介
confluent-kafka是Python模块，是对librdkafka的轻量级封装，⽀持Kafka 0.8以上版本。本⽂基于confluent-kafka 1.3.0编写。
GitHub地址：
2、confluent-kafka特性
(1)可靠。confluent-kafka是对⼴泛应⽤于各种⽣产环境的librdkafka的封装，使⽤Java客户端相同的测试集进⾏测试，由Confluent进⾏
⽀持。
(2)性能。性能是⼀个关键的设计考虑因素，对于较⼤的消息，最⼤吞吐量与Java客户机相当(Python解释器的开销影响较⼩)，延迟与Java
客户端相当。
(3)未来⽀持。Coufluent由Kafka创始⼈创建，致⼒于构建以Apache Kafka为核⼼的流处理平台。确保核⼼Apache Kafka和Coufluent
平台组件保持同步是当务之急。
3、confluent-kafka安装
创建confluent源：
进⼊/etc/yum.repos.d⽬录创建confluent.repo⽂件：
[Confluent.dist]
name=Confluent repository (dist)
gpgcheck=1
enabled=1
[Confluent]
name=Confluent repository
gpgcheck=1
enabled=1
安装：
sudo yum clean all && sudo yum install confluent-community-2.12
sudo yum install librdkafka-devel python-devel
pip install confluent-kafka
安装AvroProducer、AvroConsumer：
pip install "confluent-kafka[avro]"
⼆、coufluent-kafka客户端API
1、confluent_kafka.Consumer
Consumer(config)
使⽤指定的配置dict创建Consumer实例。
Consumer.assign(partitions)
剩余14页未读，继续阅读
资源评论
