没有合适的资源?快使用搜索试试~ 我知道了~
数据存储与数据库 电子书
需积分: 5 0 下载量 165 浏览量
2023-05-13
09:36:46
上传
评论
收藏 15.25MB PDF 举报
温馨提示
试读
142页
目录 BookKeeper -- Apache Pulsar 的高可用/强一致/低延迟的存储实 现 4 京东零售海量日志数据处理实践 22 分布式存储在B站的应用实践 38 Flink Table Store: 流批一体存储 55 Apache Doris存储层向量化改造设计与实现 74 云原生数据库 94 未来数据库需要关心的硬核创新 107 图数据库及在金融领域的应用 130 参会收到的电子书籍,技术讲的不是很细,几个实例不错,可以看下。偏互联网和金融行业。 另外,本电子书籍,如有侵权请主动联系我下架。分享的目的是为了让更多人学习,共同成长,并非盈利性质。本资源也不是付费资源。望谅解。
资源推荐
资源详情
资源评论
扫码关注公众号 免费下载PPT
BookKeeper -- Apache Pulsar 的高可用/强一
致/低延迟的存储实现
分享嘉宾:翟佳 StreamNative 联合创始人
编辑整理:张晓伟 美团点评
出品社区:DataFun
导读:多数读者们了解BookKeeper是通过Pulsar,实际上
BookKeeper在数据库和存储场景都有着非常广泛的应用。
BookKeeper是Pulsar的底层存储,Pulsar有着广泛数据入口,Pulsar
跟Kafka及各类MQ(RabbitMQ、ACTIVEMQ)的较大区别是Pulsar是
统一的云原生消息流平台,不但是分布式系统,而且做了存算分离,可以
让用户在云的环境下,体验到云原生的优势,例如随意扩缩容、数据灵活
迁移复制等。希望通过本文,让大家对Pulsar底层的BookKeeper有更
深入的了解。
今天的介绍会围绕下面四点展开:
•
BookKeeper的简介
•
BookKeeper的特性
•
BookKeeper存储介质的演进
页码: /4 146
扫码关注公众号 免费下载PPT
•
BookKeeper的社区资源
01
BookKeeper的简介
1. 业务场景需求的统一
Pulsar里有很重要的概念是“统一”,这个统一的特性是由
BookKeeper支持实现的。这里的统一是指需求的统一,在消息场景下,
用户场景分两类:
第一类是线上业务场景,例如1984年诞生的IBM MQ到现在的各类开源
MQ解决的是线上业务场景,这些MQ的服务质量会对业务服务质量有着
直接的影响,所以这类需求对数据质量,例如对数据持久性、数据延迟、
消费模型的灵活性有较强的要求。
第二类是大数据场景,例如2010年左右随着实时计算的广泛使用,
Kafka的这种高带宽和高吞吐使用需求。
页码: /5 146
扫码关注公众号 免费下载PPT
由于面向场景不同、技术栈不同,这两种场景在业务上又同时存在,给业
务带来不同的基础设施API、不同的使用方式、不同系统的运维成本等问
题。所以Pulsar针对这些问题,做了两层API的统一:既兼容MQ的并发
消费模型,提供比较好的服务质量,同时通过底层存储层抽象,可以提供
很高的吞吐和带宽,这就是我们要介绍的Apache BookKeeper项目。
页码: /6 146
扫码关注公众号 免费下载PPT
2. Apache BookKeeper简介
很多服务里都有日志,例如MySQL的binlog和HDFS的namenode的
editlog,都是对日志的一个抽象,而BookKeeper就是把这个抽象变成
了一个分布式的服务,摆脱了对单机容量瓶颈的限制,把日志变成了可无
限扩展的服务。BookKeeper使用packet source协议和ZooKeeper的
zap协议,通过log append only的方式实现了低延迟和高吞吐。在
APCP里选择CP,而availability是通过多副本并发的方式提供高可用,
BookKeeper有着低延迟、高吞吐、持久化、数据的强一致性、服务的高
可用、单节点可以存储很多日志、IO隔离等优势,针对这些特性在后文会
展开介绍。
3. BookKeeper的诞生
BookKeeper也是Apache的一个项目,同样是由雅虎捐献诞生,原本是
为了应对雅虎开源HDFS里元数据存储的需求。
页码: /7 146
剩余141页未读,继续阅读
资源评论
D_ZSX
- 粉丝: 47
- 资源: 35
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功