flat设计文档1

《flat设计文档1》概述了如何构建一个分布式消息队列系统，该系统支持多主题（topic）并利用Zookeeper实现集群的分布式管理。本文将详细阐述设计思路、系统架构及核心组件的功能。 **设计思路** 1. **Zookeeper角色**： - **维护MQ节点信息**：Zookeeper存储MQ节点的sid（服务标识符）和开始时间，同时记录子节点的sid，这些sid代表MQ节点同步的binlog状态。 - **管理消息topic**：存储topic列表，以便于管理和跟踪不同主题的消息。 - **源信息管理**：记录source在哪个group的哪个topic下，通过sid表示source订阅的group，消息类型为topic同步。 2. **MQ集群设计**： - **集群模式**：包括单机版和多机版。单机版设计不在本文详述，重点讨论多机版。 - **组划分**：MQ实例按组划分，每个实例属于特定的组。 - **组内部结构**：每个组包含一个Master和多个Slave。Master负责接收和同步消息，而Slave仅负责消息同步。 - **故障转移**：Master宕机时，sid最大的Slave会自动升级为新的Master。 - **消息同步**：Slave间采用级联方式同步消息。 3. **Proxy组件**： - **监控职责**：连接Zookeeper，监控所有topic和group的Master节点状态变化。 - **分类**：分为product_proxy和subscribe_proxy。前者处理消息发送，后者处理消息订阅。 - **消息发送**：product_proxy针对每个group-mq建立单独的发送队列，消息按顺序分配给对应的MQ。 - **数据接收**：recv_proxy从每个group的Master-MQ接收数据，因为MQ需要更新所有source的同步sid信息，所以数据同步仅从Master-MQ进行。 **系统架构** - **Zookeeper集群**： - **目录结构**：根目录`flatq`下有各个group目录，如`group1`，其中包含master、mq、topic等子目录。 - **节点详情**：master目录保存master-id信息，mq目录记录master-mq状态，topic目录存储topic及其状态，source子目录保存每个topic的详细信息。 该系统的设计目标是提供高可用性和可扩展性。Zookeeper作为协调中心，确保了数据一致性，而MQ集群的Master-Slave架构实现了故障切换和负载均衡。Proxy组件则作为客户端和服务器之间的桥梁，确保消息的正确发送和接收。这种设计保证了消息队列的稳定性和高效性，适用于大规模分布式系统中的异步通信需求。