没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告分布式数据库如何平衡一致性和读写延迟.docx

分布式数据库如何平衡一致性和读写延迟.docx

1 下载量 107 浏览量 2022-12-16 02:22:02 上传评论收藏 70KB DOCX 举报

温馨提示

试读

11页

分布式数据库如何平衡一致性和读写延迟.docx

资源推荐

资源详情

资源评论

分布式之数据库和缓存双写一致性方案解析.docx

分布式之数据库和缓存双写一致性方案解析.docx

hank:（已弃用。LiveRamp不再使用或维护此项目。）Hank是我们在LiveRamp上建立和使用的高性能分布式键值NoSQL数据库。它是为超大型数据存储而设计的，它使可用主内存的数量相形见and，并且为随机分布的读写工作负载提供了远远超过基于内存的缓存容量的能力。更具体地说，它针对极低延迟的随机读取查询和极高吞吐量的增量批写入进行了优化。

汉克计划设计 Hank是我们在建立和使用的非常快速且紧凑的分布式键值NoSQL数据库。保证读取查询始终始终执行少于2次磁盘搜索，并且平均执行1次网络调用。所有磁盘写操作都严格按顺序进行，以实现高吞吐量更新（每个节点每秒数百万）。值的块压缩以及磁盘上的举重模式提供了紧凑性。汉克是完全分布式的并且具有容错能力。数据被一致地散列并自动重新分配。它可以水平扩展到具有数十亿或数万亿记录的TB和

分布式数据库如何平衡一致性和读写延迟?

为了提供高可用能力、防止数据丧失，在分布式数据库或存储系统中需要设立数据副

本机制，而副本的引入，可以说是分布式存储中的"万恶之源"。

多副本之间应该满足强一致吗？强一致会导致请求延迟增加多少？强一致约束下能提

供哪些可用性？诸如此类，种种问题，不一而足。

此外，分布式系统中的CAP原理可以被表述为：在网络分区存在的情况下，强一致与

可用性是不可兼得的。由此开展出符合BASE标准的NoSQL 数据库，在这类数据库中，

以最终一致性取代强一致性。

那么，我们所说的强一致和最终一致究竟是指什么呢？

强一致意味着多副本数据间的绝对一致吗？显然，在分布式系统中，由于网络通信延

迟的存在，多副本的严格一致是不可能的。

那是代表返回写入请求时多副本已经到达完全一致了吗？熟悉Raft的朋友会立即指

出，不一定，Raft就只需要在quorum中（超过半数）副本达成一致即可返回写入成

功。

抑或是只需要quorum的一致即可吗？这取决于具体的算法，如果我们不限定读取操

作只被leader处理，那么，达成quorum 一致之后仍然可能读取到旧数据。

而在实际系统中，一致性问题的解法可能更加复杂,需要在一致性、读写延迟中做出权

衡。

一种实现方式是，假如每个leader在提供读服务时都不做额外操作，那么，如果多数

派分区的leader已经完成了新的写入，少数派分区的 leader仍然提供读服务，就可

能读到旧数据。

这个问题的一种解决方法是，让少数派分区的leader直接拒绝读服务。

这如何实现呢？让leader在与客户端交互，完成读操作前发送一个 no-op并至少得到

半数回应，由于少数派分区的leader无法得到半数回应，因此无法提供读服务。

关于如何在Raft中获得线性一致性的详细探讨可详见Raft论文［7］中第 8 节 Client

Interaction,,

TDengine提供的一致性级别在上述的分析中可以看到，Ra代中实现线性一致

性会为读操作和写操作都带来至少2个RTT的延迟（client视角，从client到leader ,

再由leader到follower）;即使仅实现顺序一致性，也会在写时带来至少2个RTT的

延迟。

在TDengine中，为了降低写入数据的延迟、提高吞吐量，我们为元数据（表数据、

表的标签数据）提供强一致性，为时序数据提供最终一致性与强一致性两种可选的一

致性级别。当用户选择最终一致同步，写入的延迟可以被降低到1个RTT （从client

到leader）,这大大优于Raft这类强一致复制协议提供的性能。随着TDengine集

群版的开源，用户数量与日俱增，TDengine被应用到了多种多样复杂的环境中。当

集群中存在网络分区、或节点连续宕机等异常情况下，TDengine中可能无法保证严

格的强一致性,因此，在即将到来的3.0版本中，我们将以Raft算法为基础重构选主、

强一致复制等一系列流程，同时，仍然为时序数据提供最终一致与强一致两种同步模

式，给用户提供灵活的选择，帮助用户适应最复杂的业务场景需求。

剩余10页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

zzzzl333

粉丝: 712
资源: 7万+

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

分布式数据库如何平衡一致性和读写延迟.docx

分布式之数据库和缓存双写一致性方案解析.docx

基于Raft分布式一致性协议实现的局限及其对数据库的风险.docx

学生成绩管理系统数据库表结构说明 (2).docx

分布式数据库课程设计报告.docx

分布式数据库技术及发展趋势研究.docx

分布式数据库系统课程作业.docx

04数据库实验二-推荐下载.docx

某电信营业厅收费系统数据库课程设计.docx.docx

C#数据库课程设计报告酒店管理系统.docx.pdf

办公室日常信息管理系统数据库课程设计报告统..docx

工厂数据库管理系统-华工数据库大作业(含源文件)..docx

西安理工大学数据库课程设计报告汽车配件系统.docx

办公日常信息管理系统数据库课程设计报告.doc.docx

第17章分布式数据库与MySQL的运维.docx

人事管理系统(数据库课程设计).doc.docx

河南理工大学数据库系统原理课程设计任务书.docx

酒店管理系统数据库的与实现 (2).docx

酒店管理系统数据库的与实现 (3).docx

仓储管理系统数据库设计与实现(全文).docx

相关实用应用程序（Windows可用）

李飞飞自传 我看见的世界 The World I see

ChatGPT使用总结：150个ChatGPT提示词模板（完整版）

chromedriver-win64.zip

全国计算机二级WPSoffice精选350道选择题题库（含答案）.pdf

哈尔滨工业大学-ChatGPT调研报告-2023.3.6-94页.pdf

智联招聘：2024年大学生就业力调研报告.pdf

4个亲测好用的ChatGPT4渠道

最新资源

李飞飞自传我看见的世界 The World I see