Apache_Kafka_Share

Kafka是由LinkedIn公司用Scala语言开发的，一个分布式、分区的、多副本的、多订阅者的，基于Zookeeper协调的分布式日志系统(也可做MQ系统)。主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数据处理框架。 Kafka的特性及优势 1. 高吞吐率，kafka的高吞吐率是秒杀其他消息系统的，原因在批处理，压缩，多分区 等。 2. 高性能，MQ系统的性能瓶颈主要在于持久化和对消息消费的ack。kafka的持久化策略 采用文件系统以及page cache，消息直接从内核到page cache，顺序写磁盘。消费的ack只需更新offset。 3. 多重订阅，不同的groupId组成不同的CG，形成多个订阅者，并且消费速率互不影响。 4. 消息持久性，kafka使用文件日志系统做存储，可以保留指定时间。 5. 良好伸缩性，broker节点和partition个数能在线增加，但是broker在线添加后，之前创 建的topic的partition分配到上面。 6. 高可用，N个副本，允许N-1个副本失效，服务依然可用。 7. 其他，kafka还有一些其他的特性，比如消息可回溯，顺序性消费，消息分区自定义，消息语义实现自定义等。