没有合适的资源?快使用搜索试试~ 我知道了~
kafka-effective:更有效地使用apache kafka消费者和生产者
共12个文件
java:8个
xml:1个
md:1个
需积分: 6 0 下载量 180 浏览量
2021-05-02
16:47:38
上传
评论
收藏 14KB ZIP 举报
温馨提示
kafka-effective use apache kafka consumer and producer more effectively 为什么做这个项目 之前一直在项目中使用kafka原生的Consumer和Producer API,但总是觉得有点不方便: 初始化加载的时候比较繁琐 使用Consumer的高级API无法真正实现批量处理(低级API超复杂又不会用T_T) 每次部署一个新topic都会进行很多重复的配置工作 后来读了flume中有关与kafka集成的代码(org.apache.flume.source.kafka.KafkaSource),觉得其中使用kafka Consumer的方式比较合理,可以实现消息的批处理,所以就参考并封装了一下,变得更加通用,形成了这个项目。目前已经被应用于我们的线上服务中,用来处理每天大量的用户数据流和Feed数据流。 用法 BatchCo
资源推荐
资源详情
资源评论
收起资源包目录
kafka-effective-master.zip (12个子文件)
kafka-effective-master
src
test
resources
log4j.properties 416B
java
com
asiainno
base
kafka
TestKafkaBatchConsumer.java 1KB
main
java
com
myz
base
kafka
KafkaBatchConsumer.java 9KB
KeyValueModPartitioner.java 873B
MessageEvent.java 861B
KafkaProducerWrapper.java 666B
KafkaUtils.java 2KB
StringBasedKafkaProducerFactory.java 1KB
MessageConsumer.java 262B
README.md 3KB
pom.xml 1KB
.gitignore 2KB
共 12 条
- 1
资源评论
syviahk
- 粉丝: 27
- 资源: 4783
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功