多主数据库中基于分区的并发控制.docx资源-CSDN文库

版权申诉

75 浏览量 2022-11-29 17:39:35 上传评论收藏 184KB DOCX 举报

资源推荐

资源详情

资源评论

0 引　　言

随着云计算与大数据的发展, 传统的关系型数据库已无法满足金融市场

业务的需求, 越来越多的用户开始选择云数据库. 计算存储分离架构是当下大

多商业云数据库的解决方案. 在此架构下, 数据库分为存储层和计算层两个部

分: 多个存储节点共同组成一个共享存储层为计算层提供可靠的持久化存储服

务; 计算层则由多个计算节点组成, 每个计算节点运行一个单独的数据库进程.

计算节点缓存一部分数据用于服务用户的读写请求, 当缓存无法命中时, 计算

节点会遵循替换策略将需要的数据从存储层读入缓存. 大多云数据库的计算

节点目前仅支持一写多读的架构, 即计算层只存在一个计算节点拥有数据的

读写权限, 其余计算节点都仅拥有读权限.

为实现集群中写节点的扩展, 数据库领域曾尝试利用锁机制实现同一时

间仅有一个节点拥有数据的写权限并通过网络传递数据页的方法实现多主

[1-2]

之后提出基于日志的冲突检测

[3]

或是确定性数据库

[4]

的解决方法. 另一方面, 为

提高系统吞吐量, 现存在部分系统选择将数据库进行分区, 但因此引入了跨分

区事务这一问题 , 导致需要在满足事务 ACID (Atomicity, Consistency,

Isolation, Durability)特性与限制事务仅能够访问一个分区这两个条件中取舍.

对于存储计算分离的架构, 实现多个写节点的一大难点在于各写节点缓

存中数据的一致性维护. 如上所述, 数据库读取数据会先从缓存读取, 这样的

机制便导致对于某个数据各写节点中缓存的版本并不相同的情况出现. 为解

决这种情况, 现有提出基于全局事务日志进行冲突检测的方法

[5]

, 通过为每个

事务分配唯一的全局事务号, 并以此事务号维护事务间的可串行化调度, 在各

个节点上根据事务调度顺序回放与本地缓存数据相关的事务日志以更新各节

点本地缓存. 但在这样的解决方法下, 随着写节点数量的增加, 事务数量增长

导致日志规模急剧上升 , 在每个写节点上维护全局事务日志并依序检查每条

事务无疑会产生较多不必要的网络及计算存储资源的消耗.

综上所述, 为了在计算存储分离架构的云数据库中实现写性能的扩展, 本

文基于 MySQL 设计并实现多主分区事务插件. 本文的主要贡献如下.

(1)设计分区算法 . 基于数据访问信息对事务进行分区, 各分区内设计独

立的验证器, 并维护分区独立的日志记录.

(2)设计事务序号的分配. 通过事务序号实现可能有数据访问冲突的事务

间的串行化, 以事务序号为验证基础的并发控制维护数据一致性.

(3)通过实验对比全局事务日志的解决方案, 论证分区方法对多主数据库

性能的影响.

本文后续内容: 第 1 章介绍多主数据库相关工作; 第 2 章介绍本文提出的

基于分区的多主数据库架构; 第 3 章阐述分区算法的具体实现; 第 4 章说明跨

分区并发控制的设计; 第 5 章通过实验验证本文方案对系统性能的影响; 第 6

章总结全文.

1 相关工作

云数据库发展初期 , 大多实现方法仅是为传统的关系型数据库添加云存

储, 如今各大厂商逐渐推出基于存储计算分离架构的云数据库. 亚马逊率先推

出计算存储分离的云数据库产品 Aurora

[6-7]

, 提出“日志即数据库”的思想. 其认

为由于日志中已包含有数据的信息, 故仅通过日志就可以恢复出数据, 可以仅

向存储层传输 Redo 日志 , 减少网络 I/O (Input/Output), 并在存储层回放

Redo 日志生成数据页供计算层读取; 同时由写节点向读节点广播日志, 读节

点通过回放日志更新缓存, 以此实现节点缓存的一致. 阿里云的 PolarDB 同样

沿用存储计算分离的架构, 通过写节点广播日志流帮助其余节点缓存的更新,

PolarDB 的设计在计算层做的改动较少, 其主要通过自研的分布式文件系统

PolarFS

[8]

以及存储引擎 X-Engine

[9]

更好地利用高性能硬件的特性以实现存储

层的优化. 随后, 微软推出的 Socrates

[10]

以及华为推出的 Taurus

[11]

在计算层

依旧沿用一写多读的设计, 但存储层的设计各有特色.

迄今为止, 大多数的商用云数据库只提供一写多读的配置, 即仅实现了读

性能的扩展, 而写性能的扩展还没有很好的实践方案. 目前已实现的多主解决

方案, 如 Oracle RAC

[1]

和 DB2 pureScale

[2]

, 这二者的设计思想都是利用锁机

制和数据页的网络传输实现数据的一致性. 不同的是, pureScale 通过全局锁

管理器和全局缓存池实现, 各个实例通过 RDMA 与二者通信; 而 Oracle RAC

剩余14页未读，继续阅读

评论收藏

内容反馈

版权申诉

罗伯特之技术屋

粉丝: 3666
资源: 1万+

多主数据库中基于分区的并发控制.docx

数据库并发控制机制.docx

oracle数据库的并发控制.docx

一种基于时间戳的分布式数据库并发控制方法.pdf

数据库实验报告：事务与并发控制.docx

基于自适应网络编码的异构无线链路并发传输控制方法研究.docx

04数据库实验二-推荐下载.docx

办公室日常信息管理系统数据库课程设计报告统..docx

办公日常信息管理系统数据库课程设计报告.doc.docx

人事管理系统(数据库课程设计).doc.docx

数据库课程设计-客户信息管理系统实验报告事务与并发控制.docx

医院门诊挂号系统数据库设计与应用课程设计.docx

学生信息管理系统数据库设计示例 (2).docx

(完整版)数据库毕业课程设计题目汇总.docx

医院管理系统(数据库设计) (2).docx

4.支持校园卡的食堂消费信息管理系统数据库设计-数据库大作业.docx

(完整word版)数据库课程设计教务管理系统.docx

物流管理系统的SQL数据库设计(含代码).docx

《超市管理系统的数据库设计》 (2).docx

毕业生毕业设计管理数据库课程设计 (2).docx

电信营业厅收费系统数据库课程设计精编WORD版.docx

宾馆客房信息管理系统设计数据库课程设计共38页.docx

某电信营业厅收费系统数据库课程设计.docx.docx

(完整word版)ORACLE数据库期末考试题目及答案.docx

数据库课程设计信息管理系统数据结构与数据库课程设计 (2).docx

(完整word版)医院门诊挂号系统数据库设计与应用课程设计.docx

相关实用应用程序（Windows可用）

免费可用的ChatGPT网页版.zip

ChatGPT使用总结：150个ChatGPT提示词模板（完整版）

chromedriver-win64.zip

最新资源