没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
29页
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性,非常适合大规模消息处理应用程序。 Kafka 官网: http://kafka.apache.org Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性,非常适合大规模消息处理应用程序。 Kafka 官网: http://kafka.apache.org Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个
资源推荐
资源详情
资源评论
分布式消息系统
Kafka
课程讲义
主讲:
Reythor
雷
2019
分布式消息系统 Kafka
主讲:Reythor 雷
1
分布式消息系统
Kafka
第
1
章
Kafka
概述
kafaka
简介
1.1
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统,
使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中
间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容
错的特性,非常适合大规模消息处理应用程序。
Kafka 官网: http://kafka.apache.org/
Kafa
系统架构
1.2
应用场景
1.3
Kafka 的应用场景很多,这里就举几个最常见的场景。
1.3.1
用户的活动追踪
用户在网站的不同活动消息发布到不同的主题中心,然后可以对这些消息进行实时监测
分布式消息系统 Kafka
主讲:Reythor 雷
2
实时处理。当然,也可加载到 Hadoop 或离线处理数据仓库,对用户进行画像。像淘宝、京
东这些大型的电商平台,用户的所有活动都是要进行追踪的。
1.3.2
日志聚合
1.3.3
限流削峰
kafka
高吞吐率实现
1.4
Kafka 与其它 MQ 相比,其最大的特点就是高吞吐率。为了增加存储能力,Kafka 将所有
的消息都写入到了低速大容的硬盘。按理说,这将导致性能损失,但实际上,kafka 仍可保
持超高的吞吐率,性能并未受到影响。其主要采用了如下的方式实现了高吞吐率。
顺序读写:Kafka 将消息写入到了分区 partition 中,而分区中消息是顺序读写的。顺序
读写要远快于随机读写。
零拷贝:生产者、消费者对于 kafka 中消息的操作是采用零拷贝实现的。
批量发送:Kafka 允许使用批量消息发送模式。
消息压缩:Kafka 支持对消息集合进行压缩。
分布式消息系统 Kafka
主讲:Reythor 雷
3
第
2
章
Kafka
工作原理与工作过程
Kafka
基本原理
2.1
Kafka
工作原理与过程
2.2
Kafka
集群搭建
2.3
在生产环境中为了防止单点问题,Kafka 都是以集群方式出现的。下面要搭建一个 Kafka
集群,包含三个 Kafka 主机,即三个 Broker。
2.3.1 Kafka
的下载
分布式消息系统 Kafka
主讲:Reythor 雷
4
2.3.2
安装并配置第一台主机
(
1
) 上传并解压
将下载好的 Kafka 压缩包上传至 CentOS 虚拟机,并解压。
(
2
) 创建软链接
(
3
) 修改配置文件
在 kafka 安装目录下有一个 config/server.properties 文件,修改该文件。
剩余28页未读,继续阅读
资源评论
Java码库
- 粉丝: 1425
- 资源: 3918
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功