分布式数据库-OceanBase1

分布式数据库OceanBase是一种针对大规模数据量和高并发访问场景设计的解决方案。面对数百TB的数据和数十万TPS（每秒事务处理量）的需求，单台关系型数据库无法胜任，因此需要采取分布式数据库策略。常见的做法是对数据库进行水平拆分，根据业务特性如用户ID哈希取模后分布到不同数据库，再通过中间层路由到各个分区。然而，这种方式存在扩展性和事务处理的挑战。 在扩展性方面，当数据量和负载增加时，手动添加机器操作困难。一致性哈希可以缓解这一问题，但仍然可能遇到跨分区查询效率低下的问题，例如按用户ID分区时查询收藏特定商品的用户需要遍历所有分区。分布式表格方案，如BigTable，将大表划分为子表并保持主键有序，允许故障转移，提高了可扩展性，但牺牲了事务支持。 OceanBase的目标是提供支持跨行跨表事务的分布式数据库服务。借鉴BigTable，最直接的尝试是在HBase或Hypertable基础上引入两阶段提交协议，但这会显著增加事务响应时间。OceanBase采用了创新的架构来解决这个问题。 OceanBase的核心设计包括单台更新服务器（UpdateServer）来记录最近的修改增量，而历史数据作为基线数据存储在多台基线数据服务器（ChunkServer）上。查询时，系统将基线数据与增量数据合并后返回给客户端。UpdateServer集中处理写操作，简化了分布式事务，同时定期将更新增量分发到ChunkServer，避免成为性能瓶颈。 系统架构中，Client类似于MySQL的JDBC接口，负责应用程序与数据库的交互。RootServer是集群管理的核心，负责集群管理、数据分布和副本管理，采用一主一备的高可用模式，通过Linux HA软件确保高可用性。RootServer通过租约机制选举唯一的主UpdateServer，牺牲一定的可用性以换取强一致性。 UpdateServer存储增量更新数据，采用一主一备的模式，主备之间可以配置不同的同步模式。主UpdateServer的所有更新操作都会先写入内存表，然后生成快照文件存储在SSD中，并同步到备用UpdateServer。由于只有一个主UpdateServer，OceanBase能轻松实现跨行跨表事务，无需传统两阶段提交协议。 MergeServer接收并解析SQL请求，优化后转发给ChunkServer或UpdateServer。若数据分布在多个ChunkServer，MergeServer负责结果的合并。ChunkServer存储基线数据，确保数据的可靠性。 通过定期合并和数据分发，OceanBase能够将UpdateServer的增量更新分散到ChunkServer，UpdateServer仅需处理最近的增量数据，这些数据通常可以完全存于内存中，从而提高系统性能和响应速度。这种设计使得OceanBase能够在处理大规模数据和高并发事务时保持高效和稳定。