一文看懂Kafka消息格式的演变
93 浏览量
2021-01-27
17:56:19
上传
评论
收藏 226KB PDF 举报
一文看懂一文看懂Kafka消息格式的演变消息格式的演变
摘要
对于一个成熟的消息中间件而言，消息格式不仅关系到功能维度的扩展，还牵涉到性能维度的优化。随着Kafka的迅猛发展，
其消息格式也在不断的升级改进，从0.8.x版本开始到现在的1.1.x版本，Kafka的消息格式也经历了3个版本。本文这里主要来
讲述Kafka的三个版本的消息格式的演变，文章偏长，建议先关注后鉴定。
每一条消息被发送到Kafka中，其会根据一定的规则选择被存储到哪一个partition中。如果规则设置的合理，所有的消息可以
均匀分布到不同的partition里，这样就实现了水平扩展。如上图，每个partition由其上附着的每一条消息组成，如果消息格式
设计的不够精炼，那么其功能和性能都会大打折扣。比如有冗余字段，势必会使得partition不必要的增大，进而不仅使得存储
的开销变大、网络传输的开销变大，也会使得Kafka的性能下降；又比如缺少字段，在最初的Kafka消息版本中没有timestamp
字段，对内部而言，其影响了日志保存、切分策略，对外部而言，其影响了消息审计、端到端延迟等功能的扩展，虽然可以在
消息体内部添加一个时间戳，但是解析变长的消息体会带来额外的开销，而存储在消息体（参考下图中的value字段）前面可
以通过指针偏量获取其值而容易解析，进而减少了开销（可以查看v1版本），虽然相比于没有timestamp字段的开销会差一
点。如此分析，仅在一个字段的一增一减之间就有这么多门道，那么Kafka具体是怎么做的呢？本文只针对Kafka 0.8.x版本开
始做相应说明，对于之前的版本不做陈述。
v0版本
对于Kafka消息格式的第一个版本，我们把它称之为v0，在Kafka 0.10.0版本之前都是采用的这个消息格式。注意如无特殊说
明，我们只讨论消息未压缩的情形。
weixin_38584642
- 粉丝: 5
- 资源: 947
评论0