Apache Kafka源码剖析
电子书推荐
-
Kafka技术内幕 评分:
第1章 Kafka入门 1 1.1 Kafka流式数据平台 1 1.2 Kafka的基本概念 3 1.2.1 分区模型 3 1.2.2 消费模型 4 1.2.3 分布式模型 5 1.3 Kafka的设计与实现 6 1.3.1 文件系统的持久化与数据传输效率 6 1.3.2 生产者与消费者 8 1.3.3 副本机制和容错处理 10 1.4 快速开始 11 1.4.1 单机模式 12 1.4.2 分布式模式 14 1.4.3 消费组示例 16 1.5 环境准备 18 第2章 生产者 22 2.1 新生产者客户端 22 2.1.1 同步和异步发送消息 23 2.1.2 客户端消息发送线程 29 2.1.3 客户端网络连接对象 31 2.1.4 选择器处理网络请求 35 2.2 旧生产者客户端 43 2.2.1 事件处理器处理客户端发送的消息 44 2.2.2 对消息集按照节点和分区进行整理 46 2.2.3 生产者使用阻塞通道发送请求 48 2.3 服务端网络连接 49 2.3.1 服务端使用接收器接受客户端的连接 50 2.3.2 处理器使用选择器的轮询处理网络请求 53 2.3.3 请求通道的请求队列和响应队列 56 2.3.4 Kafka请求处理线程 58 2.3.5 服务端的请求处理入口 58 2.4 小结 60 第3章 消费者:高级API和低级API 61 3.1 消费者启动和初始化 67 3.1.1 创建并初始化消费者连接器 69 3.1.2 消费者客户端的线程模型 70 3.1.3 重新初始化消费者 72 3.2 消费者再平衡操作 73 3.2.1 分区的所有权 74 3.2.2 为消费者分配分区 75 3.2.3 创建分区信息对象 78 3.2.4 关闭和更新拉取线程管理器 80 3.2.5 分区信息对象的偏移量 80 3.3 消费者拉取数据 82 3.3.1 拉取线程管理器 82 3.3.2 抽象拉取线程 87 3.3.3 消费者拉取线程 90 3.4 消费者消费消息 94 3.4.1 Kafka消息流 94 3.4.2 消费者迭代消费消息 95 3.5 消费者提交分区偏移量 97 3.5.1 提交偏移量到ZK 98 3.5.2 提交偏移量到内部主题 99 3.5.3 连接偏移量管理器 101 3.5.4 服务端处理提交偏移量的请求 103 3.5.5 缓存分区的偏移量 106 3.6 消费者低级API示例 108 3.6.1 消息消费主流程 109 3.6.2 找出分区的主副本 112 3.6.3 获取分区的读取偏移量 113 3.6.4 发送拉取请求并消费消息 116 3.7 小结 117 3.7.1 消费者线程模型 117 3.7.2 再平衡和分区分配 119 第4章 新消费者 121 4.1 新消费者客户端 125 4.1.1 消费者的订阅状态 125 4.1.2 消费者轮询的准备工作 134 4.1.3 消费者轮询的流程 138 4.1.4 消费者拉取消息 146 4.1.5 消费者获取记录 149 4.1.6 消费消息 160 4.2 消费者的网络客户端轮询 161 4.2.1 异步请求 162 4.2.2 异步请求高级模式 169 4.2.3 网络客户端轮询 184 4.3 心跳任务 188 4.3.1 发送心跳请求 188 4.3.2 心跳状态 189 4.3.3 运行心跳任务 191 4.3.4 处理心跳结果的示例 192 4.3.5 心跳和协调者的关系 193 4.4 消费者提交偏移量 195 4.4.1 自动提交任务 195 4.4.2 将拉取偏移量作为提交偏移量 197 4.4.3 同步提交偏移量 201 4.4.4 消费者的消息处理语义 202 4.5 小结 206 第5章 协调者 210 5.1 消费者加入消费组 211 5.1.1 元数据与分区分配器 212 5.1.2 消费者的加入组和同步组 213 5.1.3 主消费者执行分配任务 220 5.1.4 加入组的准备、完成和监听器 224 5.2 协调者处理请求 229 5.2.1 服务端定义发送响应结果的回调方法 229 5.2.2 消费者和消费组元数据 232 5.2.3 协调者处理请求前的条件检查 236 5.2.4 协调者调用回调方法发送响应给客户端 237 5.3 延迟的加入组操作 242 5.3.1 “准备再平衡” 242 5.3.2 延迟操作和延迟缓存 244 5.3.3 尝试完成延迟的加入操作 246 5.3.4 消费组稳定后,原有消费者重新加入消费组 250 5.3.5 消费组未稳定,原有消费者重新加入消费组 251 5.4 消费组状态机 254 5.4.1 再平衡操作与监听器 254 5.4.2 消费组的状态转换 262 5.4.3 协调者处理“加入组请求” 264 5.4.4 协调者处理“同步组请求” 274 5.4.5 协调者处理“离开组请求” 276 5.4.6 再平衡超时与会话超时 278 5.4.7 延迟的心跳 282 5.5 小结 290 第6章 存储层 293 6.1 日志的读写 293 6.1.1 分区、副本、日志、日志 分段 294 6.1.2 写入日志 297 6.1.3 日志分段 305 6.1.4 读取日志 315 6.1.5 日志管理 329 6.1.6 日志压缩 336 6.2 服务端处理读写请求 348 6.2.1 副本管理器 351 6.2.2 分区与副本 362 6.3 延迟操作 373 6.3.1 延迟操作接口 374 6.3.2 延迟操作与延迟缓存 383 6.3.3 延迟缓存 391 6.4 小结 400 第7章 控制器 402 7.1 Kafka控制器 402 7.1.1 控制器选举 403 7.1.2 控制器上下文 406 7.1.3 ZK监听器 408 7.1.4 分区状态机和副本状态机 410 7.1.5 删除主题 430 7.1.6 重新分配分区 436 7.1.7 控制器的网络通道管理器 445 7.2 服务端处理LeaderAndIsr请求 448 7.2.1 创建分区 449 7.2.2 创建主副本、备份副本 451 7.2.3 消费组元数据迁移 463 7.3 元数据缓存 468 7.3.1 服务端的元数据缓存 472 7.3.2 客户端更新元数据 473 7.4 Kafka服务关闭 483 7.5 小结 487 第8章 基于Kafka构建数据流管道 490 8.1 Kafka集群同步工具:MirrorMaker 490 8.1.1 单机模拟数据同步 491 8.1.2 数据同步的流程 493 8.2 Uber集群同步工具:uReplicator 498 8.2.1 Apache Helix介绍 498 8.2.2 Helix控制器 501 8.2.3 Helix工作节点 504 8.3 Kafka连接器 505 8.3.1 连接器的使用示例 507 8.3.2 开发一个简单的连接器 510 8.3.3 连接器的架构模型 515 8.3.4 Herder的实现 520 8.3.5 Worker的实现 524 8.3.6 配置存储与状态存储 530 8.3.7 连接器与任务的实现 550 8.4 小结 565 第9章 Kafka流处理 569 9.1 低级Processor API 569 9.1.1 流处理应用程序示例 569 9.1.2 流处理的拓扑 575 9.1.3 流处理的线程模型 580 9.1.4 状态存储 613 9.2 高级流式DSL 636 9.2.1 DSL应用程序示例 636 9.2.2 KStream和KTable 638 9.2.3 连接操作 665 9.2.4 窗口操作 672 9.3 小结 684 第10章 高级特性介绍 686 10.1 客户端配额 686 10.2 消息与时间戳 692 10.3 事务处理 699 10.4 小结 703
上传时间:2018-03 大小:112.43MB
- 160B
Kafka技术内幕pdf资源
2019-05-30Kafka技术内幕:图文详解Kafka源码设计与实现 完整版
- 109.73MB
Kafka技术内幕-郑奇煌(完整版).rar
2018-04-18Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,[3]这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了Kafka Streams——一个Java流式处理库 (计算机)。
- 112.43MB
高清完整版 Kafka技术内幕:图文详解Kafka源码设计与实现
2018-10-26Kafka技术内幕:图文详解Kafka源码设计与实现.郑奇煌
- 112.43MB
Kafka技术内幕:图文详解Kafka源码设计与实现@www.java1234.com.pdf
2019-06-11超清中文版 kafka技术内幕,源码剖析kafka,经典书籍!
- 64B
kafka技术内幕pdf网盘txt
2018-07-27kafka技术内幕pdf资料的百度网盘地址密码,永久有效;kafka技术内幕pdf资料的百度网盘地址密码,永久有效
- 112.42MB
Kafka技术内幕:图文详解Kafka源码设计与实现
2018-11-06Kafka技术内幕:图文详解Kafka源码设计与实现
- 111.12MB
Kafka技术内幕:图文详解Kafka源码设计与实现+书签.pdf+源码
2018-12-02Kafka技术内幕:图文详解Kafka源码设计与实现 有书签 有源码
- 64B
Kafka技术内幕:图文详解Kafka源码设计与实现 PD
2018-03-16Kafka技术内幕:图文详解Kafka源码设计与实现 PDF 下载 Kafka技术内幕:图文详解Kafka源码设计与实现 PDF 下载
- 110.74MB
Kafka技术内幕扫描版电子书
2018-02-24Kafka技术内幕扫描版电子书 Kafka技术内幕扫描版电子书
- 2.80MB
kafka技术内幕源码.zip
2018-02-10kafka技术内幕附录和源码,由于kafka技术内幕书比较厚,作者把附录用电子版呈现。
- 1.64MB
uReplicator, Apache Kafka Mirrormaker的改进.zip
2019-09-17uReplicator, Apache Kafka Mirrormaker的改进 uReplicator uReplicator提供了在其他数据中心之间复制 Kafka 集群的能力。 不发布到单个 Kafka 集群,可以以将数据发布到多个区域 Kafka 集群,并将它的全部聚集在一个 Kafka 集群。====
- 110.75MB
Kafka技术内幕:图文详解Kafka源码设计与实现.郑奇煌(2017.11).pdf
2018-04-10Kafka技术内幕:图文详解Kafka源码设计与实现.郑奇煌(2017.11).pdfKafka技术内幕:图文详解Kafka源码设计与实现.郑奇煌(2017.11).pdf
- 2.57MB
Kafka技术内幕.xmind
2021-03-01Kafka技术内幕.xmind
- 112.42MB
KafKa技术内幕
2018-06-07KafKa技术内幕
- 112.38MB
kafka技术内幕,带书签
2018-05-19kafka系列书籍中最好的一本,看过的人知道此言不虚,从原理到组件到实现,很多大神推荐过本书
- 98.7MB
kafka技术内幕2
2018-03-06kafka技术内幕,2017.11月最新出版,基于0.10版本,非常不错的一本书,由于是高清,本人帐号最大上传文件为220MB,所以分两次上传!
- 200.0MB
kafka技术内幕
2018-03-06kafka技术内幕,2017.11月最新出版,基于0.10版本,非常不错的一本书,由于是高清,本人帐号最大上传文件为220MB,所以分两次上传!
- 200.0MB
Kafka技术内幕及源码设计与实现(第一部分)
2018-04-13Kafka技术内幕及源码设计与实现,这是一本很全的书,很值得学习
- 110.73MB
kafka 技术内幕 图文详解Kafka源码设计与实现
2018-04-09kafka 技术内幕 图文详解Kafka源码设计与实现 kafka 源码
- 5.41MB
有关kafka的三本电子书,电子文档
2018-11-01有关kafka的三本电子书,电子文档
- 70B
图文详解Kafka源码设计与实现 带详细书签 高清完整版
2018-05-24作者: 郑奇煌 出版社: 人民邮电出版社 副标题: 图文详解Kafka源码设计与实现 出版年: 2017-11 页数: 720 定价: 119.00元 装帧: 平装 ISBN: 9787115469380 资源挂了留言即补!绝对值!
- 231KB
Java第十五届蓝桥杯大赛软件JavaB组真题
2024-04-14【Java】第十五届蓝桥杯大赛软件JavaB组真题
- 38.20MB
SwitchHosts
2024-03-06切换host工具
- 55.2MB
安卓期末大作业(AndroidStudio开发),垃圾分类助手app,分为前台后台,代码有注释,均能正常运行
2023-06-04安卓期末大作业-垃圾分类助手(免积分下载) 压缩包内包含源代码,项目文档,apk文件,运行各个界面截图。app使用的是sqlite数据库,使用的核心类及其组件:Base Adapter,Fragment,View Pager,Alert Dialog.Builder,Option,Animation Draw able(关键帧动画),Media Player(视频),Count Down Timer(倒计时 广告页用),Spinner等 该分类助手的功能是管理员先登录进入后台界面,将数据录入数据库,管理员可进行增删改查操作,用户可在前台页面通过垃圾分类查垃圾也可通过垃圾查分类,可以浏览后台管理员录到数据库中的新闻。 该分类助手在上传头像时是通过跳转到手机图库选择照片,然后保存的时候是通过该图片的uri录入数据库,显示图片则是从数据库读取uri并显示。 以上所述功能均实现正常 详见 https://blog.csdn.net/weixin_59538558/article/details/131029604
- 6.98MB
Notepad++安装包
2022-07-28Notepad++中文版是一款非常有特色的编辑器,是开源软件,可以免费使用。 Notepad++中文版是 Windows操作系统下的一套文本编辑器(软件版权许可证: GPL)。Notepad++有完整的中文化接口及支持多国语言编写的功能(UTF8技术)。Notepad++中文版功能比 Windows 中的 Notepad(记事本)强大。Notepad++除了可以用来制作一般的纯文字说明文件,也十分适合编写计算机程序代码。Notepad++中文版不仅有语法高亮度显示,也有语法折叠功能,并且支持宏以及扩充基本功能的外挂模组。
- 734KB
2024北森能力测评题库.7z
2024-03-09北森能力测评
- 39.41MB
微信小程序源码-合集1.rar
2020-09-04【微信小程序-源码合集】该合集主要整理 包含交友互动、节日祝福、金融行业、旅游行业、论坛系列、美容行业!