没有合适的资源?快使用搜索试试~ 我知道了~
赵帅兵_毕设1
需积分: 0 0 下载量 69 浏览量
2022-08-04
11:48:40
上传
评论
收藏 1.56MB PDF 举报
温馨提示
试读
74页
摘要随着信息时代的高速发展,数据库系统应该为我们提供实时的、准确的和高性能的服务。为了满足人们对性能日益增长的需求,许多大型数据库应用开始采用分布式内存缓存系统
资源详情
资源评论
资源推荐
中图分类号: 学校代码: 10055
UDC: 密级: 公开
硕 士 学 位 论 文
一种基于分布式内存缓存系统的高效容错
架构
An Efficient Fault Tolerance Framework for
Distributed In-memory Caching Systems
论文作者 赵帅兵 指导教师 王 刚 教授
申请学位 工学硕士 培养单位 计算机学院
学科专业 计算机科学与技术 研究方向 分布式存储
答辩委员会主席 刘 璟 评 阅 人 刘 璟、王 刚
南开大学研究生院
二〇一九年五月
南开大学学位论文使用授权书
本人完全了解《南开大学关于研究生学位论文收藏和利用管理办法》关于南开大学 (简
称“学校”) 研究生学位论文收藏和利用的管理规定,同意向南开大学提交本人的学位论文电
子版及相应的纸质本。
本人了解南开大学拥有在《中华人民共和国著作权法》规定范围内的学位论文使用权,
同意在以下几方面向学校授权。即:
1. 学校将学位论文编入《南开大学博硕士学位论文全文数据库》,并作为资料在学校图
书馆等场所提供阅览,在校园网上提供论文目录检索、文摘及前 16 页的浏览等信息服务;
2. 学校可以采用影印、缩印或其他复制手段保存学位论文;学校根据规定向教育部指
定的收藏和存档单位提交学位论文;
3. 非公开学位论文在解密后的使用权同公开论文。
本人承诺:本人的学位论文是在南开大学学习期间创作完成的作品,并已通过论文答
辩;提交的学位论文电子版与纸质本论文的内容一致,如因不同造成不良后果由本人自负。
本人签署本授权书一份(此授权书为论文中一页),交图书馆留存。
学位论文作者暨授权人 (亲笔) 签字:
20 年 月 日
南开大学研究生学位论文作者信息
论 文 题 目 一种基于分布式内存缓存系统的高效容错架构
姓 名 赵帅兵 学号 2120160437 答辩日期 2018 年 5 月 19 日
论 文 类 别 博 士 □ 学 历 硕 士 □
✓
专 业 学 位 硕 士 □ 同 等 学 力 硕 士 □ 划 ✓□ 选 择
学 院 (单 位) 计算机学院 学科/专业 (专业学位) 名称 计算机科学与技术
联 系 电 话 18697309570 电 子 邮 箱 zhaoshb@nbjl.nankai.edu.cn
通讯地址 (邮编):南开大学津南校区计控学院 409
非 公 开 论 文 编 号 备 注
注:本授权书适用我校授予的所有博士、硕士的学位论文。如已批准为非公开学位论文,须向图书馆提供批准通过的
《南开大学研究生申请非公开学位论文审批表》复印件和“非公开学位论文标注说明”页原件。
南开大学学位论文原创性声明
本人郑重声明:所呈交的学位论文,是本人在导师指导下进行研究工作所取
得的研究成果。除文中已经注明引用的内容外,本学位论文的研究成果不包含
任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉
及的研究工作做出贡献的其他个人和集体,均已在文中以明确方式标明。本学
位论文原创性声明的法律责任由本人承担。
学位论文作者签名: 年 月 日
非公开学位论文标注说明
根据南开大学有关规定,非公开学位论文须经指导教师同意、作者本人申请
和相关部门批准方能标注。未经批准的均为公开学位论文,公开学位论文本说
明为空白。
论文题目
申请密级 □ 限制 (⩽2 年) □ 秘密 (⩽10 年) □ 机密 (⩽20 年)
保密期限 20 年 月 日至 20 年 月 日
审批表编号 批准日期 20 年 月 日
南开大学学位评定委员会办公室盖章 (有效)
注:限制 ⋆ 2 年(可少于 2 年);秘密 ⋆ 10 年(可少于 10 年);机密 ⋆ 20 年(可少于 20 年)
摘要
摘要
随着信息时代的高速发展,数据库系统应该为我们提供实时的、准确的和
高性能的服务。为了满足人们对性能日益增长的需求,许多大型数据库应用开
始采用分布式内存缓存系统来提高用户体验。其中,Memcached 就是一种典型
的分布式内存缓存系统。分布式内存缓存系统将用户经常访问到的数据存放在
内存中。这样,当用户需要访问这部分数据时,就不需要进行远程数据库操作,
极大地提高了这部分数据的访问效率。然而,传统的分布式内存缓存系统没有
容错能力。当系统中的一个节点发生故障时,该节点存放的数据将会丢失。用
户如果想访问这部分数据,就需要重新从远端服务器或者磁盘中读取。这是一
个延迟高,耗时长的过程。为了提升分布式内存缓存系统的可靠性和可用性,
Cocytus 将 Reed-Solomon 编码和分布式协议加入到了分布式 Memcached 中,使
得 Memcached 具有容错能力。相比三副本技术,采用 Reed-Solomon 编码在具有
相同容错能力的情况下可以节省大量的内存开销。
然而,Reed-Solomon 编码涉及到复杂的有限域运算,因此计算性能较
低;另外,在数据恢复过程中,Reed-Solomon 编码需要大量的数据传输开销。
Reed-Solomon 编码的两个缺点成为了分布式 Memcached 新的瓶颈。
本文将 Row-Diagonal Parity(RDP)编码加入到分布式 Memcached 系统中
来优化 Cocytus 的计算性能。然后,本文采用两种方案 Row-Diagonal Optimal
Recovery(RDOR)模型和 Collective Reconstruction Read(CRR)模型来加速数
据恢复过程。这将极大地提高用户体验和系统可靠性。本文所采用的方案在数
据更新和数据正常访问的性能和 Cocytus 接近。在 4 个数据节点和 2 个校验节
点的情况下,与 Cocytus 相比,本文所采用的方案可以降低 31% 的数据恢复时间。
关键词: Memcached;纠删码;恢复优化;并行优化
I
Abstract
Abstract
With the development of the information age, the database systems are expected
to provide real-time, accurate and high-performance services. In order to meet the
growing need of people, many large database applications have introduced distributed
in-memory object caching systems, of which Memcached is one of the most typical.
These systems put the most frequently accessed data in memory so that user requests
are processed without remote database operations. However, the traditional distributed
Memcached does not have the fault-tolerant capability. If one server node is crashed,
the lost data need to be reloaded from the remote servers or disks, which hurts the
system performance. In order to make the distributed Memcached more reliable and
available, Cocytus introduced Reed-Solomon codes and distributed protocol to the dis-
tributed Memcached which implement the fault-tolerant mechanism. Cocytus can saves
much memory compared to primary-backup replication when tolerating the same num-
ber of failures.
However, the relatively complex finite field calculation used by RS codes and the
high network transmission cost during data reconstruction are becoming a new perfor-
mance bottleneck of Memcached.
This paper introduced RDP codes into distributed Memcached to optimize the cal-
culation performance of Cocytus. In addition, this paper adopted RDOR codes and Col-
lective Reconstruction Read to speed up the rate of data recovery. The new distributed
Memcached has a similar performance with Cocytus in terms of data update and normal
data access. Compared with Cocytus which uses RS codes for fault-tolerant, the new
distributed Memcached with 4 data nodes and 2 check parity nodes reduces reconstruc-
tion time by up to 31%.
Key Words: Memcached; erasure codes; optimal recovery; parallel recovery
II
剩余73页未读,继续阅读
周林深
- 粉丝: 54
- 资源: 290
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0