腾讯云腾讯云Kafka海量服务自动化运营实践海量服务自动化运营实践
腾讯云CKafka是基于Apache Kafka 的分布式、高可扩展以及高吞吐的云端Kafka服务。腾讯云CKafka针对开源Kafka进行了
多种优化，其中包括无锁队列优化、异步刷盘优化、多版本支持以及GC优化等优化手段，对开源Kafka性能达到了数倍的提
高。与用户自己部署Kafka相比，腾讯云CKafka无需用户关心Kafka集群细节，用户无需维护Kafka集群直接使用，同时为用户
提供丰富的监控指标。由于腾讯云CKafka与社区Kafka的协议一致，用户只需要够买实例后便可无缝接入。再者，CKafka允
许用户动态进行实例的升降配，按需付费。最后腾讯云CKafka与腾讯云存储以及大数据EMR套件打通，使用方便。
当前腾讯云CKafka运行规模已经达到了日消息万亿的级别，同时日吞吐量已经达到了PB级别，单集群最高峰值可达数十亿。
在运营云端CKafka不同集群以及如此繁多的节点时候，我们遇到了的问题可以归纳为以下几点：
1）如何选择云端CKafka版本
2）如何合理的创建分配实例才能实现资源的有效利用
3）怎样实现实例动态升降配
4）如何实现集群的负载均衡
5）怎样合理规划分区的创建、新增以及迁移
下文就针对这五个问题分别阐述腾讯云CKafka是如何解决的。
多版本生产/消费兼容
由于云端面对的用户不同，必然会出现对Kafka不同版本的要求。当前最新Kafka版本已经为1.1.0版本，对于底层存储而言，
主要是不同版本会有不同的消息格式。
图1. 用户版本的选择
第一种方案是部署多套Kafka集群以满足不同版本的要求，但是这种做法的代价是每当用户购买实例的时候必须提供其使用版
本，同时用户必须持续使用这种Kafka版本。否则只能通过重新购买不同版本的实例才可以实现版本的替换。其次在运维过程
中，由于每个节点有版本号的特异性，不同版本的节点不允许加入非对应版本的集群。在集群节点调度时不再对集群透明，所
以在后续对集群维护的时候也增加了维护成本。
第二种方法也是目前CKafka使用的方法，改造Kafka底层以完成多种消息格式的存储。底层不再拒绝不同版本的消息，根据
magic字段获取消息的格式进行相应处理。在不同版本之间的生产/消费进行消息的转换以满足要求。这样用户即使使用不同版
本也可以在同一个实例下完成，集群调度也不会有节点特异性的问题。
提高资源利用率
伴随着服务的运营以及越来越多的实例售卖，后端发现集群出现了资源浪费的情况。由于CKafka是按照实例进行售卖，实例
售卖又具有两个纬度，分别为带宽与磁盘。每个实例的服务能力会分布在不同节点上，不合理的资源分配将会造成两种资源的
浪费。
资源评论
weixin_38691055
- 粉丝: 10
- 资源: 930
最新资源
- python爱心代码高级.txt
- Yolo for Android 和 iOS - 用 Kotlin 和 Swift 编写的实时移动深度学习对象检测.zip
- Yolnp 是一个基于 YOLO 检测车牌的项目.zip
- Unity Barracuda 上的 Tiny YOLOv2.zip
- Ultralytics YOLO iOS App 源代码可用于在你自己的 iOS 应用中运行 YOLOv8.zip
- 各种（西佳佳）小游戏 ≈ 代码
- Tensorrt YOLOv8 的简单实现.zip
- TensorFlow 中空间不变注意、推断、重复 (SPAIR) 的原始实现 .zip
- Tensorflow 中的 Tiny YOLOv2 变得简单！.zip
- 8ba1f8ab2c896fd7d5c62d0e5e9ecf46.JPG
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
