没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
TOPIC 专题 3
基于RDMA高速网络的
高性能分布式系统
魏 星 达 ,陈 榕 ,陈 海 波
上海交通大学并行与分布式系统研究所,上海 200240
摘要
高速的RDMA网络设备已经被广泛部署在现代数据中心。RDMA可以从两方面加速分布式系统:首先可以
提供一种快速的消息处理机制,其次RDMA提供了新的硬件原语。这极大地提升了处理器的利用率以及对
RDMA的使用率,但是需要重新设计系统。介绍了RDMA的研究进展,概述了近年来利用RDMA加速分
布式系统的工作,包括基于RDMA重新设计的系统以及如何更好地利用RDMA的设计,并给出了未来的
研究方向。
关键词
分布式系统;键值存储系统;图处理系统;联机事务处理系统;远程过程调用
中图分类号:TP316 文献标识码:A
doi: 10.11959/j.issn.2096-0271.2018036
Optimizing distributed systems with
remote direct memory access
Abstract
Fast network devices with RDMA support have been price-compatible with traditional network primitives such as
Ethernet, and it’s now widely deployed in modern data centers. RDMA can be used in two ways. Firstly, it can optimize
the messaging primitive in distributed applications. The second way is to redesign the applications with RDMA’s one-
sided features. One-sided features provide high CPU utilizations and high network performance, but the system should
be redesigned. The research progress of RDMA was introduced. An overview on the research efforts on using RDMA for
distributed systems was presented. The works on how to use RDMA to redesign systems and the works on how to better
leverage RDMA were included. The future research directions were also put forward.
Key words
distributed system, key-value stores system, graph processing system, OLTP system, remote procedure call
WEI Xingda, CHEN Rong, CHEN Haibo
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University, Shanghai 200240, China
2018036-1
BIG DATA RESEARCH 大数据
4
1 引言
对于分布式系统而言,如何加速网
络通信一直以来都是一个非常重要的问
题 。例 如 此 前 的 研 究
[1]
指 出 ,将 一 个 单 机
键值存储系统应用到基于客户机—服务器
(client-server)模式的分布式环境中,即
便 使 用 了 批 量 处 理(b a t c h i n g)等 优 化 技
术,仍然会造成大幅的性能下降。分布式
系统依赖网络通信完成节点间的协作,因此
通信开销很大程度上决定了应用程序的整
体性能。传统的网络协议栈(如TCP/IP)并
不是针对高性能应用场景设计的,因此难
以 提 供 高 效 的 通 信 支 持 ,系 统 调 用 和 内 存 复
制等操作都会带来巨大的性能开销。
远程直接内存访问(remote direct
memory access,RDMA)技术是一种
最早应用于高性能计算领域的网络通信
协议,当前已在数据中心逐渐普及
[2-3]
。
RDMA允许用户程序绕过操作系统内
核 ,直 接 和 网 卡 交 互 进 行 网 络 通 信 ,从 而
提供高带宽和极小时延。此外,RDMA
还提供了one-sided原语(one-sided
primitive),即网卡可以在没有远端节点
帮 助 的 情 况 下 ,由 网 卡 直 接 发 起 和 完 成 对
远程内存的读写请求,在提升CPU利用率
的同时,为分布式系统的设计提供了更多
的 可 能 。从 系 统 软 件 设 计 的 角 度 而 言 ,可
以直接将RDMA视为一种更快的网络,并
通过模拟TCP/IP的方式(即IBoIP模式)
直接加速现有应用。然而这样无法完全利
用RDMA提供的性能优势。近几年来,学
术界以及工业界提出了一系列基于RDMA
的分布式系统
[4-11]
,探索了如何通过对现
有系统的再设计充分发挥出RDMA的硬件
性能,实现数量级的性能提升。下面首先
对RDMA技术进行简要介绍,并进一步从
RDMA优化技术、远程过程调用实现、分
布式键值存储系统、分布式事务处理系统
等方面介绍当前领域的研究进展以及笔者
在这些领域中的一些工作。
2 RDMA概述
RDMA网络协议允许用户程序绕过操
作系统内核直接进行网络通信。这样既避
免了用户空间到系统空间的复制开销,也
可以省去进入内核处理的开销,极大地降
低了网络时延,并且提高了吞吐量。此外,
RDMA技术还提供了新的网络原语,网卡
可以绕过处理器直接处理对服务器内存
的读写请求。网卡提供了对远程内存的读
(r e a d)、写(w r i t e)和 原 子(a t o m i c s)操
作,可以极大地提升远程服务器的CPU使
用效率。
图1展 示了使用不同网络架构读取
服务器端内存中数据的操作流程。
图 1(a)
展示了如何利用RDMA的one-sided特性
来减少服务器端的开销,服务器的网卡使
用直接内存存取(direct memory access,
D M A ) 读 取 用 户 需 要 的 内 存 数 据 ,并 返 回
给用户。
图 1( b)展示了如何利用RDMA的
消息原语(send/recv)来加速数据传递过
程。客户端可以直接发送请求给网卡,网
卡使用direct请求读回,并发送给远端服
务器。这样节省了用户程序进入内核以及
内存复制的开销。
图 1(c)展示了使用传统
网 络 消 息 机 制(T C P / I P)处 理 读 写 请 求 的
过程。可以看到,用户程序首先进入操作
系统内核,将请求复制到内核的缓冲区,内
核再给网卡发送请求。服务端接收到用户
请求后,读取内存内容,再以相同的步骤将
读取的内存发回给客户端。
表1总 结了RDMA支持的3 种 操作。
send/recv操作支持传统消息通信的方
法:一台机器可以用send操作给另一台机
2016016-42016025-42016016-42016061-42016016-42017001-42016016-42017007-22016016-42017009-12016016-42016025-42016016-42016061-42016016-42017001-42016016-42017007-22016016-42016025-42016016-42016061-42016016-42017001-42016016-42017007-22016016-42017035-12016016-42016025-42016016-42016061-42016016-42017001-42016016-42017007-22016016-42016025-42016016-42016061-42016016-42017001-42016016-42017007-22016016-42018036-2
剩余11页未读,继续阅读
资源评论
weixin_38559569
- 粉丝: 3
- 资源: 948
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 中期检查+结项报告参考模板+教改类课题+开题报告【重磅,更新!】
- DGA(流量入侵)网络安全数据集
- 【毕业设计/课程设计】免费springbootvue阿博图书馆管理系统源码
- <项目代码>YOLOv8 手机识别<目标检测>
- 【毕业设计/课程设计】免费springboot+vue教师工作量管理系统源码
- 开发 Deeplab V3 卷积神经网络,以划分 NAIP 中的地面太阳能电池阵.ipynb
- python《通过图卷积网络进行城市交通流预测的研究》+项目源码+文档说明+说明
- 【重磅,更新!】基于2008-2022年熵值法计算的环境污染指数
- 【毕业设计/课程设计】免费springboot+vue甘肃非物质文化网站的源码
- 使用免费卫星图像划分北卡罗来纳州所有地面安装太阳能电池阵的方法.ipynb
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功