kafka学习文档(Kafka基本概念、Kafka内部逻辑组成).docx
需积分: 13 113 浏览量
2020-07-28
20:49:39
上传
评论
收藏 19KB DOCX 举报
kafka 学习文档
【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】
kafka 命令操作，看我博客
kafka 集群搭建，看我博客
一、Kafka 基本概念
1.Kafka 是最初由 Linkedin 公司开发，是一个分布式、分区的、多副本的、多
订阅者，基于 zookeeper 协调的分布式日志系统(也可以当做 MQ 系统)，常见
可以用于 web/nginx 日志、访问日志，消息服务等等，Linkedin 于 2010 年
贡献给了 Apache 基金会并成为顶级开源项目。
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），
主要应用于大数据实时处理领域。
2.Kafka 是一个可持久化的分布式的消息队列
3.Kafka 和 Flume 的比较
Kafka 是一个通用的系统。它可以有多个生产者和多个消费者共享多个主题
(topic)。
Flume 被设计为往 HDFS, HBase 发送数据，它对 HDFS 有特殊的优化。
如果数据被设计给 Hadoop 使用，使用 Flume。如果在流式处理系统当中，
如 Storm，Spark Streaming，可以使用 kafka。
二、kafka 内部逻辑组成
1.名词解释
评论0
最新资源