藏经阁-DTCC 2022大会集锦《云原生一站式数据库技术与实践》-44.pdf

【云原生分布式数据库PolarDB-X技术架构】 PolarDB-X是阿里巴巴云推出的一款云原生分布式数据库，设计目标是提供与单机数据库相似的使用体验，同时具备分布式数据库的扩展性和高性能。该系统的核心架构由元数据服务（GMS）、计算节点、数据节点和日志节点组成。 1. **元数据服务（GMS）** GMS是一个基于Paxos协议构建的高可用集群，负责存储全局元数据，包括数据分片、计算节点和数据节点的拓扑信息，以及日志节点的拓扑信息。此外，GMS还提供授时服务，确保数据的全局可见性，从而实现外部一致性事务。 2. **计算节点** 计算节点是无状态的，它们接收SQL请求，进行解析、重写、优化，并转化为物理执行计划执行。计算节点支持MPP（大规模并行处理）执行框架，协调整个计划的调度和结果返回。 3. **数据节点** 数据节点负责存储数据并执行单机执行计划。它们以复制组的形式组织，通过Paxos一致性协议确保数据的强一致性和高可用性。数据被切分为多个分片，根据特定规则分布在不同的数据节点上。 4. **日志节点** 日志节点提供全局一致的Binlog，兼容MySQL生态。输出的全局一致Binlog与单机MySQL的Binlog兼容，使得PolarDB-X可以被视为单机MySQL使用，包括与MySQL的生态、下游数仓和大数据系统的对接，可以通过CDC（变更数据捕获）消费日志。 **PolarDB-X的主要特点** 1. **原生MySQL生态** PolarDB-X完全兼容MySQL的语法、语义、功能和协议，支持原生的MySQL JDBC连接器和其他语言的客户端。它能无缝对接MySQL的生态，可以作为MySQL备机通过Binlog同步数据，或作为数据源同步到下游系统。 2. **一体化透明分布式** 用户无需关心数据分布的细节，PolarDB-X自动处理数据分布和扩展，提供与单机数据库相似的使用体验。同时，它支持手工分区模式，允许用户根据业务需求进行优化。 3. **企业级能力** PolarDB-X具备强一致性的高可用性，支持混合事务分析处理（HTAP），并强化了数据安全性。这使得它能够满足企业级应用对数据一致性和高性能的需求。 **分布式数据库的发展背景** 分布式数据库并非新生事物，但早前多限于学术研究。随着互联网的快速发展，传统的单机数据库无法应对大规模数据和高并发需求，因此诞生了NoSQL数据库。然而，NoSQL牺牲了一些关系型数据库的关键特性，如ACID，导致应用程序需要处理更复杂的逻辑。随后，结合关系型数据库特性的NewSQL应运而生，PolarDB-X正是NewSQL家族的一员，旨在提供扩展性与事务一致性的同时，保持易用性。