Apache Kafka源码剖析
电子书推荐
-
kafka权威指南中文版---最新高清完整版 评分:
序 xiii 前言 xv 第1章 初识Kafka 1 1.1 发布与订阅消息系统 1 1.1.1 如何开始 2 1.1.2 独立的队列系统 3 1.2 Kafka登场 4 1.2.1 消息和批次 4 1.2.2 模式 4 1.2.3 主题和分区 5 1.2.4 生产者和消费者 5 1.2.5 broker和集群 6 1.2.6 多集群 7 1.3 为什么选择Kafka 8 1.3.1 多个生产者 8 1.3.2 多个消费者 8 1.3.3 基于磁盘的数据存储 9 1.3.4 伸缩性 9 1.3.5 高性能 9 1.4 数据生态系统 9 1.5 起源故事 11 1.5.1 LinkedIn的问题 11 1.5.2 Kafka的诞生 12 1.5.3 走向开源 12 1.5.4 命名 13 1.6 开始Kafka之旅 13 第2章 安装Kafka 14 2.1 要事先行 14 2.1.1 选择操作系统 14 2.1.2 安装Java 14 2.1.3 安装Zookeeper 15 2.2 安装Kafka Broker 17 2.3 broker配置 18 2.3.1 常规配置 18 2.3.2 主题的默认配置 19 2.4 硬件的选择 23 2.4.1 磁盘吞吐量 23 2.4.2 磁盘容量 23 2.4.3 内存 23 2.4.4 网络 24 2.4.5 CPU 24 2.5 云端的Kafka 24 2.6 Kafka集群 24 2.6.1 需要多少个broker 25 2.6.2 broker配置 25 2.6.3 操作系统调优 26 2.7 生产环境的注意事项 28 2.7.1 垃圾回收器选项 28 2.7.2 数据中心布局 29 2.7.3 共享Zookeeper 29 2.8 总结 30 第3章 Kafka生产者——向Kafka写入数据 31 3.1 生产者概览 32 3.2 创建Kafka生产者 33 3.3 发送消息到Kafka 34 3.3.1 同步发送消息 35 3.3.2 异步发送消息 35 3.4 生产者的配置 36 3.5 序列化器 39 3.5.1 自定义序列化器 39 3.5.2 使用Avro序列化 41 3.5.3 在Kafka里使用Avro 42 3.6 分区 45 3.7 旧版的生产者API 46 3.8 总结 47 第4章 Kafka消费者——从Kafka读取数据 48 4.1 KafkaConsumer概念 48 4.1.1 消费者和消费者群组 48 4.1.2 消费者群组和分区再均衡 51 4.2 创建Kafka 消费者 52 4.3 订阅主题 53 4.4 轮询 53 4.5 消费者的配置 55 4.6 提交和偏移量 57 4.6.1 自动提交 58 4.6.2 提交当前偏移量 59 4.6.3 异步提交 59 4.6.4 同步和异步组合提交 61 4.6.5 提交特定的偏移量 61 4.7 再均衡监听器 62 4.8 从特定偏移量处开始处理记录 64 4.9 如何退出 66 4.10 反序列化器 67 4.11 独立消费者——为什么以及怎样使用没有群组的消费者 71 4.12 旧版的消费者API 71 4.13 总结 72 第5章 深入Kafka 73 5.1 集群成员关系 73 5.2 控制器 74 5.3 复制 74 5.4 处理请求 76 5.4.1 生产请求 78 5.4.2 获取请求 78 5.4.3 其他请求 80 5.5 物理存储 81 5.5.1 分区分配 81 5.5.2 文件管理 82 5.5.3 文件格式 83 5.5.4 索引 84 5.5.5 清理 84 5.5.6 清理的工作原理 84 5.5.7 被删除的事件 86 5.5.8 何时会清理主题 86 5.6 总结 86 第6章 可靠的数据传递 87 6.1 可靠性保证 87 6.2 复制 88 6.3 broker配置 89 6.3.1 复制系数 89 6.3.2 不完全的首领选举 90 6.3.3 最少同步副本 91 6.4 在可靠的系统里使用生产者 92 6.4.1 发送确认 92 6.4.2 配置生产者的重试参数 93 6.4.3 额外的错误处理 94 6.5 在可靠的系统里使用消费者 94 6.5.1 消费者的可靠性配置 95 6.5.2 显式提交偏移量 95 6.6 验证系统可靠性 97 6.6.1 配置验证 98 6.6.2 应用程序验证 98 6.6.3 在生产环境监控可靠性 99 6.7 总结 100 第7章 构建数据管道 101 7.1 构建数据管道时需要考虑的问题 102 7.1.1 及时性 102 7.1.2 可靠性 102 7.1.3 高吞吐量和动态吞吐量 103 7.1.4 数据格式 103 7.1.5 转换 104 7.1.6 安全性 104 7.1.7 故障处理能力 104 7.1.8 耦合性和灵活性 105 7.2 如何在Connect API和客户端API之间作出选择 105 7.3 Kafka Connect 106 7.3.1 运行Connect 106 7.3.2 连接器示例——文件数据源和文件数据池 107 7.3.3 连接器示例——从MySQL到ElasticSearch 109 7.3.4 深入理解Connect 114 7.4 Connect之外的选择 116 7.4.1 用于其他数据存储的摄入框架 116 7.4.2 基于图形界面的ETL 工具 117 7.4.3 流式处理框架 117 7.5 总结 117 第8章 跨集群数据镜像 118 8.1 跨集群镜像的使用场景 118 8.2 多集群架构 119 8.2.1 跨数据中心通信的一些现实情况 119 8.2.2 Hub和Spoke架构 120 8.2.3 双活架构 121 8.2.4 主备架构 123 8.2.5 延展集群 127 8.3 Kafka的MirrorMaker 128 8.3.1 如何配置 129 8.3.2 在生产环境部署MirrorMaker 130 8.3.3 MirrorMaker调优 132 8.4 其他跨集群镜像方案 134 8.4.1 优步的uReplicator 134 8.4.2 Confluent的Replicator 135 8.5 总结 135 第9章 管理Kafka 136 9.1 主题操作 136 9.1.1 创建主题 137 9.1.2 增加分区 138 9.1.3 删除主题 138 9.1.4 列出集群里的所有主题 139 9.1.5 列出主题详细信息 139 9.2 消费者群组 140 9.2.1 列出并描述群组 140 9.2.2 删除群组 142 9.2.3 偏移量管理 142 9.3 动态配置变更 143 9.3.1 覆盖主题的默认配置 143 9.3.2 覆盖客户端的默认配置 145 9.3.3 列出被覆盖的配置 145 9.3.4 移除被覆盖的配置 146 9.4 分区管理 146 9.4.1 首选的首领选举 146 9.4.2 修改分区副本 147 9.4.3 修改复制系数 150 9.4.4 转储日志片段 151 9.4.5 副本验证 152 9.5 消费和生产 153 9.5.1 控制台消费者 153 9.5.2 控制台生产者 155 9.6 客户端ACL 157 9.7 不安全的操作 157 9.7.1 移动集群控制器 157 9.7.2 取消分区重分配 157 9.7.3 移除待删除的主题 158 9.7.4 手动删除主题 158 9.8 总结 159 第10章 监控Kafka 160 10.1 度量指标基础 160 10.1.1 度量指标在哪里 160 10.1.2 内部或外部度量 161 10.1.3 应用程序健康检测 161 10.1.4 度量指标的覆盖面 161 10.2 broker的度量指标 162 10.2.1 非同步分区 162 10.2.2 broker度量指标 166 10.2.3 主题和分区的度量指标 173 10.2.4 Java虚拟机监控 174 10.2.5 操作系统监控 175 10.2.6 日志 176 10.3 客户端监控 177 10.3.1 生产者度量指标 177 10.3.2 消费者度量指标 179 10.3.3 配额 181 10.4 延时监控 182 10.5 端到端监控 183 10.6 总结 183 第11章 流式处理 184 11.1 什么是流式处理 185 11.2 流式处理的一些概念 186 11.2.1 时间 187 11.2.2 状态 188 11.2.3 流和表的二元性 188 11.2.4 时间窗口 189 11.3 流式处理的设计模式 190 11.3.1 单个事件处理 191 11.3.2 使用本地状态 191 11.3.3 多阶段处理和重分区 193 11.3.4 使用外部查找——流和表的连接 193 11.3.5 流与流的连接 195 11.3.6 乱序的事件 195 11.3.7 重新处理 196 11.4 Streams示例 197 11.4.1 字数统计 197 11.4.2 股票市场统计 199 11.4.3 填充点击事件流 201 11.5 Kafka Streams的架构概览 202 11.5.1 构建拓扑 202 11.5.2 对拓扑进行伸缩 203 11.5.3 从故障中存活下来 205 11.6 流式处理使用场景 205 11.7 如何选择流式处理框架 206 11.8 总结 208 附录A 在其他操作系统上安装Kafka 209 作者介绍 214 封面介绍 214
上传时间:2018-03 大小:114.89MB
- 114.88MB
kafka 权威指南 (中文,高清)
2019-05-03本书是关于Kafka的全面教程。 主要内容包括: 1)Kafka相对于其他消息队列系统的优点,主要是它如何匹配大数据平台开发; 2)详解Kafka内部设计;用Kafka构建应用的实践; 3)理解在生产中部署Kafka的方式;如何确保Kafka集群的安全。 本书适合Java开发人员、大数据平台开发人员以及对分布式系统感兴趣的读者阅读
- 898KB
kafka中文文档
2015-03-02kafka中文文档,内容来自kafka官网,已翻译成中文。
- 5.41MB
有关kafka的三本电子书,电子文档
2018-11-01有关kafka的三本电子书,电子文档
- 49B
Elasticsearch权威指南(中文版)pdf 百度云永久链接
2017-12-14Elasticsearch权威指南(中文版)pdf 百度云永久链接,好东西一起分享!
- 112.90MB
kafka-权威指南(完整版高清)
2018-03-31本书是关于Kafka的全面教程,主要内容包括:Kafka相对于其他消息队列系统的优点,主要是它如何完美匹配大数据平台开发;详解Kafka内部设计;用Kafka构建应用的最佳实践;理解在生产中部署Kafka的最佳方式;如何确保Kafka集群的安全。
- 119KB
kafka-schema-registry-client-6.2.2.jar
2023-04-25mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
- 820KB
flink-connector-kafka-base-2.11-1.10.0-API文档-中文版.zip
2022-04-23标签:flink、11、apache、base_2、connector、kafka、jar包、java、API文档、中文版; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不
- 2.15MB
flink-connector-kafka-2.12-1.14.3-API文档-中文版.zip
2022-04-07包含翻译后的API文档:flink-connector-kafka_2.12-1.14.3-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId:org.apache.flink,artifactId:flink-connector-kafka_2.12,version:1.14.3 使用方法:...
- 7.26MB
kafka-clients-2.4.1-API文档-中文版.zip
2022-06-06包含翻译后的API文档:kafka-clients-2.4.1-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.4.1; 标签:apache、kafka、clients、中文文档、jar包、java; 使用方法:解压翻译后...
- 2.24MB
flink-connector-kafka-2.12-1.14.3-API文档-中英对照版.zip
2022-06-06包含翻译后的API文档:flink-connector-kafka_2.12-1.14.3-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.flink:flink-connector-kafka_2.12:1.14.3; 标签:apache、flink、connector、...
- 99.73MB
集成开发 Kafka 权威指南.. 完整版
2018-04-08集成开发 Kafka 权威指南.. 完整版 集成开发 Kafka 权威指南.. 完整版
- 1.15MB
KafKa资料下载
2017-09-07第一次接触的同学可以下载看看,文档很详细.。希望能帮助第一次接触的同学可以下载看看,文档很详细.。希望能帮助
- 8.77MB
Kafka全套学习笔记.zip
2020-06-28Kafka全套学习笔记
- 434B
2020最全Kafka教程合集(笔记+视频).rar
2020-08-24本人在北美刚刚毕业,目前面试的几家大厂包括小公司在面试中都频繁的问道kafka这个技术,作为大数据开发或者java全栈的开发者来说,2020年很有必要系统的学习一下kafka. 1.[全面][Kafka2.11][jdk1.8][ZooKeeper3.4.6]Kafka完美入门+原理剖析及实战演练_12课带工具+PPT(分辨率1440.900). 2.[基础][Kafka2.11]Hadoop生态重要成员Kafka入门学习_5讲(分辨率1280.720)_902M 4Kafka核心技术与实战(更新完毕) 46-Kafka核心技术与实战 Kafka并不难学 Kafka从入门到精通 Kafka核心
- 1.92MB
kafka学习文档
2018-05-30apache kafka 在数据处理中特删是日志和消息的处理上会有徆多出色的表现.首先弼然推荐的是 kafka 的宏 网 http://kafka.apache.org/。在宏网最值得参考的文章就是 kafka design: http://kafka.apache.org/design.html,要特删重规返篇文章,里面有好多理念都特删好,推荐多读几遍。 在 OSC 的翻译频道有 kafka design 全中文的翻译,翻得挺好的,推荐一下: http://www.oschina.net/translate/kafka-design。kafka 的 wiki 是徆丌错的学习文档: https://cwiki.apache.org/confluence/display/KAFKA/Index 接下来就是一系列文章,文章都是循序渐迕的方式带你了览 kafka: 关亍 kafka 的基本知识,分布式的基础:《分布式消息系统 Kafka 刜步》 kafka 的分布式搭建,quick start:《kafka 分布式环境搭建》 关亍 kafka 的实现细节,返主要就是讲 design 的部分:《细节上》、《细节下》 关亍 kafka 开収环境,scala 环境的搭建:《开収环境搭建》 数据生产者,producer 的用法:《producer 的用法》、《producer 使用注意》 数据消费者,consumer 的用法:《consumer 的用法》 迓有些零碎的,关亍通信段的源码览读:《net 包源码览读》、《broker 配置》 扩展的阅读迓有下面返些: 关亍 kafka 和 jafka 的相关博客,特删好,有徆多问题也都找他览决的,大神一般的存在: http://rockybean.github.com/@rockybean kafka 的 java 化版本 jafka:https://github.com/adyliu/jafka 淘宝的 metaQ:https://github.com/killme2008/Metamorphosis 最近在写的 inforQ,刚开始写,也纯粹是为了读下源码,丌定期更新: https://github.com/ielts0909/inforq
- 4.94MB
kafka-clients-2.0.0-API文档-中文版.zip
2022-06-26包含翻译后的API文档:kafka-clients-2.0.0-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.0.0; 标签:apache、kafka、clients、中文文档、jar包、java; 使用方法:解压翻译后...
- 226KB
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
2022-04-23标签:flink、0、11、apache、connector、10_2、kafka、jar包、java、API文档、中文版; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持...
- 38KB
kafka-schema-registry-client-3.3.1.jar
2020-12-11kafka-schema-registry-client-3.3.1.jar包,在aliyun 仓库内无法下载,可以下载此jar包然后手动安装
- 37KB
kafka-schema-registry-client-3.2.0.jar
2020-12-11kafka-schema-registry-client-3.2.0.jar包,亲测可用,在aliyun仓库内找不到,可以下载此jar包来进行手动安装
- 71.99MB
kafka-eagle-bin-2.0.1.tar.gz
2020-08-10大数据监控工具kafka监控工具kafka-eagle-bin-1.4.2.tar.gz,比较简单好用。
- 1.68MB
kafka 官方中文文档
2018-09-25kafka 官方中文文档,希望对你有帮助,谢谢,凑足50个子
- 5.11MB
kafka-clients-2.0.0-API文档-中英对照版.zip
2022-06-17包含翻译后的API文档:kafka-clients-2.0.0-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.0.0; 标签:apache、kafka、clients、中英对照文档、jar包、java; 使用...
- 6.13MB
kafka-clients-2.2.0-API文档-中文版.zip
2022-07-14包含翻译后的API文档:kafka-clients-2.2.0-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.2.0; 标签:apache、kafka、clients、中文文档、jar包、java; 使用方法:解压翻译后...
- 7.46MB
kafka-clients-2.4.1-API文档-中英对照版.zip
2022-06-06包含翻译后的API文档:kafka-clients-2.4.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.4.1; 标签:apache、kafka、clients、中英对照文档、jar包、java; 使用...
- 457KB
flink-connector-kafka_2.11-1.7.1-API文档-中英对照版.zip
2022-07-14包含翻译后的API文档:flink-connector-kafka_2.11-1.7.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.flink:flink-connector-kafka_2.11:1.7.1; 标签:apache、flink、connector、kafka...
- 12.76MB
spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar
2021-07-07spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar
- 62.53MB
kafkatool 连接kafka工具
2019-01-24kafka连接工具
- 126.93MB
大数据学习指南合集(Hadoop、Spark、Flink等)
2024-03-14大数据框架组件 含Hadoop、Spark、Flink等大数据书籍 一、Hadoop 1. Hadoop——分布式文件管理系统HDFS 2. Hadoop——HDFS的Shell操作 3. Hadoop——HDFS的Java API操作 4. Hadoop——分布式计算框架MapReduce 5. Hadoop——MapReduce案例 6. Hadoop——资源调度器YARN 7. Hadoop——Hadoop数据压缩 二、Zookeeper 1.Zookeeper——Zookeeper概述 2.Zookeeper——Zookeeper单机和分布式安装 3.Zookeeper——Zookeeper客户端命令 4.Zookeeper——Zookeeper内部原理 5.Zookeeper——Zookeeper实战 三、Hive 1.Hive——Hive概述 2.Hive——Hive数据类型 3.Hive——Hive DDL数据定义 4.Hive——Hive DML数据操作 5.Hive——Hive查询
- 2.42MB
kafka介绍(内部培训).pptx
2019-08-08kafka介绍,介绍kafka的原理,使用,案例和引用库调用,基于大数量的场景下的消息队列切换,作为内部资料培训现在拿出来分享
- 101.36MB
kafka-2.13-3.4.0.tgz
2023-02-10Kafka是一种高吞吐量的分布式发布订阅消息系统