kafka源码解析新手版本（修正版）

 源码解析

目录

 诞生的背景

 在  内部的应用

它的主要设计目标：

为什么我们要使用消息系统：

 的组成

 拓扑结构

%&%

 日志的组成

%&% 的启动

$ &%

#'(( 处理流程)

$$ '(( 处理流程

(*+, 处理流程

-.&%

.', 的更新机制

($ 机制/

*1$&*

/*' ,2*

)*-.'((*

"*-.0,*

*'(&*)

' )

'  成为  的过程)

'  的初始化（ ）

' !&,

' ! /

+',%

$',%/

 4$)

$$ 5 "

$%

#!

'  内部 +  流程

/'  内部 $ 删除流程 4$6 &%/

)' 7 8和其它 + 通信流程 ' ', &%)

/ ,,/"

#$, 是由 #$, 软件基金会开发的一个开源消息系统项目，由   写成。 最初是由

 开发（7领英8创建于 ""年，致力于向全球职场人士提供沟通平台，并协助他们事半功倍，

发挥所长。作为全球最大的职业社交网站，会员人数在世界范围内已超过 亿，每个《财富》世界

"" 强公司均有高管加入），并于 " 年初开源。" 年 " 月从 #$,+ 毕业。该项目的目标是

为处理实时数据提供一个统一、高通量、低等待的平台。

 是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统

的功能。现已与 ' $，#$,(，#$,$ 集成。在  内部被用作

 的活动流（#*(）和运营数据处理管道（!$ ）的基础。现在它已被多家不同类型的

公司 作为多种类型的数据管道和消息系统使用。

1.1 kafka 在 LinkedIn 内部的应用

用图分析系统。

 作为分布式应用程序或平台的构件（日志）：大数据仓库解决方案 ! 等产品将  作为核心构件

（分布式日志），分布式数据库 5$ 将其作为内部副本并改变传播层。

1.2 它的主要设计目标：

 以时间复杂度为 -78的方式提供消息持久化能力，即使对 4 级以上数据也能保证常数时间复杂度的访问

性能

 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 "" 条以上消息的传输

 支持  间的消息分区，及分布式消费，同时保证每个 ! 内的消息顺序传输

/ 同时支持离线数据处理和实时数据处理

)  ：支持在线水平扩展

1.3 为什么我们要使用消息系统：

久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入<获取<删

除”范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而

确保你的数据被安全的保存直到你使用完毕。

 扩展性

　　因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理

过程即可。不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。

 灵活性 & 峰值处理能力

　　在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见；如果为以能处

理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的

访问压力，而不会因为突发的超负荷的请求而完全崩溃。

 可恢复性

　　在任何重要的系统中，都会有需要不同的处理时间的元素。例如，加载一张图片比应用过滤器花费更

少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行———写入队列的处理会尽可能的快速。

该缓冲有助于控制和优化数据流经过系统的速度。

/ 异步通信

　　很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放

入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们

)  内部的专业术语

2.1 kafka 的组成

 

一台  服务器就是一个 +。一个集群由多个 + 组成。一个 + 可以容纳多个 $。

分布到多个 +（即服务器）上，一个 $ 可以分为多个 $，每个 $ 是一个有序的队列。