Kafka
Kafka
一、概述
1.定义
2.消息队列 MQ
3.消息队列MQ的两种模式
4.Kafka基础架构
二、安装
三、常用命令
四、Kafka Java API
1.Producer API
2.Consumer API
五、Kafka架构深入
1. Kafka工作流程及文件存储机制
2. Kafka生产者 之 分区策略
3. Kafka生产者 之 数据可靠性保证
4. Kafka生产者 之 幂等性
5. Kafka消费者 之 分区分配策略
6. Kafka消费者 之 offset的维护
7. Zookeeper在Kafka中的作用
六、Flume整合Kafka
七、kafka执行流程
1. producer发送数据流程
2. Consumer消费数据流程
offset相关
3. 拦截器
执行时机
编码
一、概述
1.定义
Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。
优势:kafka可以做到,使用非常普通的硬件,也可以支持每秒数百万的消息读写。
2.消息队列 MQ
MQ (message Queue) 在传统开发中的应用场景 : 发短信、秒杀等等
企业常见的MQ软件:kafka( 大数据领域 )、rabbitMQ(java web服务器端开发)、rocketMQ
特点:削峰 解耦 异步