没有合适的资源?快使用搜索试试~ 我知道了~
kafka课上笔记,包含kafka安装,原理讲解已经入门实操,
资源推荐
资源详情
资源评论
介绍
2017 年 11 月 9 日
10:11
概述
官方网址:hp://kaa.apache.org/
以下摘自官网的介绍:
Apache Kafka® isa distributed streaming platform. What exactly
does that mean?
message queue
storefault-tolerant
!
"real-time streamingget data
"real-time streamingtransform
react
#
$records
topics.
%&&
是由 ' 开发的一个分布式的消息系统,最初是用作 ' 的活动流
(())和运营数据处理的基础。
活动流数据包括页面访问量(*+)、被查看内容方面的信息以及搜索情况等
内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件,然后周
期性地对这些文件进行统计分析。
运营数据指的是服务器的性能数据(,*-、. 使用率、请求时间、服务日志等等数据/。
运营数据的统计方法种类繁多。
使用 ) 编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的
开源分布式处理系统如 ,、()、) 都支持与 集成。
综上, 是一种分布式的,基于发布0订阅的消息系统,能够高效并实时的吞吐数
据,以及通过分布式集群及数据复制冗余机制(副本冗余机制)实现数据的安全
常用 Message Queue 对比
RabbitMQ
123 是使用 % 编写的一个开源的消息队列,本身支持很多的协议:
(23*,42**&)2$*&)$.2*,也正因如此,它非常重量级,更适合于企业级的开
发。同时实现了 " 构架,这意味着消息在发送给客户端时先在中心队列排队。对
路由,负载均衡或者数据持久化都有很好的支持。
Redis
1 是一个基于 5+ 对的 6)3' 数据库,开发维护很活跃。虽然它是一个
5+ 数据库存储系统,但它本身支持 23 功能,所以完全可以当做一个轻量级
的队列服务来使用。
ZeroMQ
723 号称最快的消息队列系统,尤其针对大吞吐量的需求场景。723 能够实
现 123 不擅长的高级0复杂的队列,但是开发人员需要自己组合多种技术框架,
技术上的复杂度是对这 23 能够应用成功的挑战。但是 723 仅提供非持久性的队
列,也就是说如果宕机,数据将会丢失。其中,$ 的 )898 以前的版本
中默认使用 723 作为数据流的传输() 从 89 版本开始同时支持 723
和 6(6.)作为传输模块)。
ActiveMQ
(23 是 ( 下的一个子项目。 类似于 723,它能够以代理人和点对点
的技术实现队列。同时类似于 123,它少量代码就可以高效地实现高级应用场
景。
适用场景
Messaging
对于一些常规的消息系统& 是个不错的选择:0 和容错&可以
使 具有良好的扩展性和性能优势不过到目前为止&我们应该很清楚认识
到& 并没有提供 ;2) 中的<事务性<<消息传输担保=消息确认机制/<<消息分组<等
企业级特性: 只能使用作为<常规<的消息系统&在一定程度上&尚未确保消息的发
送与接收绝对可靠=比如&消息重发&消息发送丢失等/
Website activity tracking
可以作为<网站活性跟踪<的最佳工具:可以将网页0用户操作等信息发送到
中并实时监控&或者离线统计分析等
Metric
通常被用于可操作的监控数据。这包括从分布式应用程序来的聚合统计用来生
产集中的运营数据提要。
Log Aggregatio
kafka 的特性决定它非常适合作为"日志收集中心": 可以将操作日志<批
量<<异步<的发送到 集群中&而不是保存在本地或者 >" 中: 可以批量提交
消息0压缩消息等&这对 端而言&几乎感觉不到性能的开支此时 端
可以使 等其他系统化的存储和分析系统
配置
2017 年 11 月 16 日
15:09
实现步骤:
1.从官网下载安装包 hp://kaa.apache.org/downloads
2.上传到 01 虚拟机,解压
3.进入安装目录下的 ? 目录
4.对 进行配置
配置示例:
broker.id=0
log.dirs=/home/software/kafka/kafka-logs
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:
2181
@
@9AB C
@989
5.保存退出后,别忘了在安装目录下创建 5 目录
6.配置其他两台虚拟机,更改配置文件的 编号(不重复即可)
7.先启动 D 集群
剩余45页未读,继续阅读
资源评论
zfl755677892
- 粉丝: 0
- 资源: 11
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功