Kafka高频面试题系列之五（30道）.docx

【Kafka面试题详解】 1. **节点存活判断条件** Kafka通过两个条件来判断一个节点是否还活着： - 节点必须能够与ZooKeeper保持连接，Zookeeper通过心跳机制检测每个节点的连接状态。 - 如果节点是follower，它必须能够及时同步leader的写操作，以确保数据一致性。 2. **Kafka中的Offset** Offset是Kafka为每个数据记录设置的唯一标识，相当于分区内的全局顺序号。从0开始，每次新消息到来时递增。消费者通过offset来确定消息的消费位置，保证消息的顺序消费和幂等性。 3. **消费者手动提交偏移量** 若要禁用自动提交offset，需将`auto.commit.enable`配置设为`false`。然后在处理完一批消息后，使用`commitSync()`或异步提交`commitAsync()`来手动提交。例如： ```java ConsumerRecords<String, String> records = consumer.poll(); for (ConsumerRecord<String, String> record : records) { // 处理消息... try { consumer.commitSync(); } catch (Exception e) { // 处理异常... } } ``` 4. **消费者模型：拉模式** Kafka的消费者使用拉模式（pull-based）从broker获取消息。这种设计允许消费者以自己的速度消费消息，并可以批量拉取提高效率。相比于push模式，拉模式避免了因broker推送速率过快导致消费者处理不过来的风险。 5. **零拷贝（Zero Copy）在Kafka的应用** - 在Kafka中，零拷贝主要应用于两个场景： - 使用mmap技术在索引读取中，使用户态和内核态共享内存，减少数据复制。 - `FileChannel.transferTo()`方法在TransportLayer中用于数据传输，通过sendfile系统调用实现零拷贝，直接将数据从磁盘发送到网络，减少了CPU的拷贝操作。但是，如果使用SSL，由于加密过程，Kafka无法使用零拷贝。 6. **Kafka消费状态跟踪** - 通常，Kafka的消费状态跟踪是通过消费者组（Consumer Group）来实现的。每个消息被一个消费者组中的一个消费者消费，一旦消息被确认，Kafka才会将其标记为已消费。这种方法可以容忍消费者失败，因为其他组内的成员可以接管未完成的消费任务。然而，如果消费者处理消息时失败且未确认，消息可能丢失，这要求系统有适当的容错和重试机制。 7. **消费者组和偏移量管理** - 消费者组内的每个消费者都有一个唯一的id，它们共同维护一个消费进度，即每个分区的最新offset。当消费者加入或离开组时，Kafka会进行rebalance，重新分配分区给消费者，以确保消息的均衡消费。 8. **消息可靠性** - 为了保证消息不丢失，Kafka提供了多个级别的持久化和复制策略。生产者可以设置acks参数来控制多少个副本确认后才认为消息被成功写入，而replication factor决定了副本数量，确保在节点故障时仍能提供服务。 9. **Kafka的分区和并行度** - 分区是Kafka消息的逻辑单元，每个主题可以有多个分区，这提供了水平扩展的能力。每个分区只能被组内的一个消费者消费，因此分区数量决定了并发消费的能力。 10. **Kafka的高可用性** - 通过ZooKeeper协调，Kafka实现主从复制，当首领节点失败时，follower可以快速接管。配合副本策略和 ISR（In-Sync Replicas）集合，Kafka可以在节点故障时保持服务的连续性。 这些知识点涵盖了Kafka的基本架构、消费者行为、消息传递和容错机制等方面，是理解Kafka核心特性和实际运用的重要基础。