kafka架构与原理资源-CSDN文库

26 浏览量 2021-01-27 12:40:06 上传评论收藏 475KB PDF 举报

资源推荐

资源详情

资源评论

kafka架构与原理架构与原理

1、简介

它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。

它可以让你持久化收到的记录流，从而具有容错能力。

首先，明确几个概念：

Kafka运行在一个或多个服务器上。

Kafka集群分类存储的记录流被称为主题(Topics)。

每个消息记录包含一个键，一个值和时间戳。

Kafka有四个核心API：

生产者 API 允许应用程序发布记录流至一个或多个Kafka的话题(Topics)。

消费者API 允许应用程序订阅一个或多个主题，并处理这些主题接收到的记录流。

Streams API 允许应用程序充当流处理器(stream processor)，从一个或多个主题获取输入流，并生产一个输出流至一个或多

个的主题，能够有效地变换输入流为输出流。

Connector API 允许构建和运行可重用的生产者或消费者，能够把 Kafka主题连接到现有的应用程序或数据系统。例如，一个

连接到关系数据库的连接器(connector)可能会获取每个表的变化。

Kafka的客户端和服务器之间的通信是靠一个简单的，高性能的，与语言无关的TCP协议完成的。这个协议有不同的版本，并

保持向前兼容旧版本。Kafka不光提供了一个Java客户端，还有许多语言版本的客户端。

2、架构

2.1 Broker

每个kafka server称为一个Broker，多个borker组成kafka cluster。一个机器上可以部署一个或者多个Broker，这多个Broker连

接到相同的ZooKeeper就组成了Kafka集群。

2.2 主题Topic

让我们先来了解Kafka的核心抽象概念记录流 – 主题。主题是一种分类或发布的一系列记录的名义上的名字。Kafka的主题始

终是支持多用户订阅的; 也就是说，一个主题可以有零个，一个或多个消费者订阅写入的数据。

Topic 与broker

一个Broker上可以创建一个或者多个Topic。同一个topic可以在同一集群下的多个Broker中分布。

剩余8页未读，继续阅读

内容反馈

weixin_38668243

粉丝: 5
资源: 956

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip