没有合适的资源?快使用搜索试试~ 我知道了~
分布式共享存储系统分布式共享存储系统.doc
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 26 浏览量
2022-07-06
01:21:49
上传
评论
收藏 2.03MB DOC 举报
温馨提示
试读
47页
分布式共享存储系统分布式共享存储系统
资源推荐
资源详情
资源评论
1
第七章 分布式共享存储系统
第七章 分布式共享存储系统 ..............................................................................................................1
7.1 引言 .................................................................................................................................................1
7.1.1
并行计算机的存储系统组织
.................................................................................................1
7.1.2
常见的共享存储系统
..............................................................................................................3
7.2 可扩放的高速缓存一致性协议 .....................................................................................................7
7.2.1
高速缓存一致性
......................................................................................................................7
7.2.2
基于目录的高速缓存一致性协议
.........................................................................................8
7.3 执行正确性模型和存储一致性模型 ...........................................................................................13
7.3.1
执行正确性模型和访存事件次序
........................................................................................13
*7.3.2
目录协议中访存事件次序的实现
......................................................................................15
7.3.3
存储一致性模型
....................................................................................................................17
7.3.4
存储一致性模型的框架模型
................................................................................................20
7.3.5
高速缓存一致性协议和存储一致性模型
............................................................................22
7.4 硬件 DSM 实例研究....................................................................................................................22
7.4.1 Stanford
的
DASH
多计算机
(CC-NUMA
结构
) ...................................................................22
7.4.2 Kendall Square Research
的
KSR1(COMA
结构
) .................................................................26
7.5 共享虚拟存储系统 SVM .............................................................................................................29
7.5.1 SVM
系统中的关键技术
.......................................................................................................29
7.5.2
实例研究:
JIAJIA
共享虚拟存储系统
...............................................................................33
7.6 小结:共享存储系统发展趋势...................................................................................................40
习题 .....................................................................................................................................................41
参考文献 .............................................................................................................................................44
本章首先介绍 DSM 的基本概念和可扩放的高速缓存一致性协议以及存储器一致性模
型;接着在实例研究中详细讨论了两种有代表性的硬件 DSM 体系结构的机器—采用
CC-NUMA 的 Stanford 大学的 DASH 原型机和采用 COMA 结构的 Kendall Square Research
研制的 KSR1;然后介绍了共享虚拟存储系统中的一些关键技术并以实例研究的方式讨论了
JIAJIA 共享虚拟存储系统;最后给出共享存储系统的发展趋势。
7.1 引言
7.1.1 并行计算机的存储系统组织
并行计算机按照存储系统组织及编程界面的不同,可以大致分为两类:即共享存储的
多处理机系统和消息传递的分布式存储多计算机系统。
2
1.共享存储系统和分布式存储系统
共享存储的并行机通常也称作紧密耦合多处理机,它具有一个所有处理器都可以一致访
问的全局物理内存,并且可以通过对同一存储中共享数据(变量)的读写来提供一个简单通
用的程序设计模型。用户还可以在这种系统上方便地仿真其它程序设计模型。程序设计的方
便性和系统的可移植性使得并行软件的开发费用大为降低。然而,共享存储多处理机由于共
享访问介质,使得在访问共享存储时要面临较重的竞争和较长的延迟,相对于分布式系统而
言,这些问题会严重地损害其峰值性能和可扩放性。共享存储的多处理机如图 7.1(b)所示,
其中 P 表示处理器,M 表示存储器。
分布式存储的并行机通常也叫做多计算机,是由多个具有本地存储模块的相互独立的处
理节点通过互连网络连接而成的。其分布存储所具有的可扩放的性质使这类系统有可能获得
非常高的计算性能。然而,不同节点上的进程间通信要使用消息传递模型,即通过显式的收
发原语来完成。由于程序设计者需要认真考虑数据分配和消息通信,因而较共享存储系统上
的程序设计要困难一些。另外不同地址空间的进程迁移使得问题更加复杂化。这样看来,分
布式存储系统尽管硬件方面变得可扩放了,但软件方面的问题却更复杂了。消息传递的多计
算机如图 7.1(a)所示。
P
1
M
1
0
m-1
P
2
M
2
0
m-1
…
…
P
n
M
n
0
m-1
(a) 消息传递多计算机
互连网络
P
1
P
2
…
P
n
(b) 共享存储多处理机
互连网络
M
1
0
m-1
M
2
m
2m-1
…
M
n
(n-1)m
nm-1
图 7.1 消息传递多计算机和共享存储多处理机
在共享存储系统中,所有处理器共享主存储器,每一处理器都可以把信息存入主存储器,
或从中取出信息,处理器之间的通信通过访问共享变量来实现。而在消息传递系统中,每个
处理器都有一个只有它自己才能访问的局部存储器,处理器之间的通信必须通过显式的消息
传递来进行。从图 7.1 可以看出,在消息传递多计算机系统中,每个处理机的存储器是单独
编址的;而在共享存储多处理机系统中,所有存储器统一编址。
2.分布式共享存储系统
与消息传递系统相比,共享存储系统由于支持传统的单地址编程空间,减轻了程序员的
编程负担,因此共享存储系统具有较强的通用性,且可以方便地移植现有的应用软件。然而,
在共享存储系统中,多个处理机对同一地址空间的共享也带来了一些问题。共享必然会引起
冲突,从而使共享存储器成为系统瓶颈。目前在规模较大的共享存储系统中,都把共享存储
器分成许多模块并分布于各处理机之中(这类系统称为分布式共享存储系统)。此外,共享存
储系统都采用高速缓存来缓和由共享引起的冲突以及由存储器分布引起的长延迟对性能的
影响。然而,存储器的分布会引起非一致的访存 NUMA(Non-Uniform Memory Access)问题,
3
即不同处理器访问同一存储单元可能有不同的延迟。而高速缓存的使用又带来了高速缓存一
致性问题,即如何保证同一单元在不同高速缓存中的备份数据的一致。访存时间的不一致以
及同一单元的多个备份也破坏了存储访问的不可分割性(Atomicity),使得同一单元内容的变
化在不同的时刻被不同的处理器所认识,从而影响系统的正确性。为了保证正确性,需要对
访存操作的发生次序进行严格的限制,许多在单处理机中行之有效的提高性能的技术,如流
水、多发射、预取、缓存等,不能在共享存储系统中盲目使用,这不利于提高性能。同时,
维持高速缓存一致性需要复杂的硬件,影响了共享存储系统的可扩放性。
可见,分布式共享存储多处理机系统中的存储系统有着不同于其它计算机存储系统的特
征,它带来了一些新问题。目前国际上在这些问题上尚无兼顾到系统的正确性、可扩放性、
以及系统性能的圆满解决方案。因此,必须在分布式共享存储系统的体系结构方面进行深入
的研究;在维护分布式共享存储系统的体系结构方面进行深入的研究;在维护分布式共享存
储系统的数据一致性、提高系统的性能和增加系统的可扩放性等方面提出创新的解决方案。
并行向量机系统和 SMP 系统都属于共享存储系统,机群系统和异构计算机系统属于消
息传递系统,大多数 MPP 系统都是消息传递系统。共享存储 MPP 系统的典型代表是 SGI
的 Origin 2000,但与同期的消息传递产品相比,Origin 2000 由于硬件的复杂性,其可扩放
性也是有限的。此外,Cray-T3D 等系统也提供了共享空间,但硬件不负责维护高速缓存一
致性。
7.1.2 常见的共享存储系统
根据共享存储器的分布,共享存储系统又可分为集中式共享存储和分布式共享存储两大
类。在集中式共享存储系统中,多个处理器通过总线、交叉开关或多级互连网络等与共享存
储器相连,所有处理器访问存储器时都有相同的延迟。随着处理器个数的增加,集中式的存
储器很容易成为系统瓶颈。
…
网络控制器
存储器
处理器
高速缓存
网络控制器
存储器
处理器
高速缓存
网络控制器
存储器
处理器
高速缓存
DSM共享
地址空间
互连网络
图 7.2 DSM 系统的结构组织示意图
为了解决上述问题,人们提出了分布式共享存储 DSM(Distributed Shared Memory)的概
念。DSM 系统就是在物理上分布存储的系统上逻辑地实现共享存储模型。图 7.2 为 DSM 系
统的结构组织示意图。系统设计者可以通过各种各样的方法,以硬件或软件方式实现分布式
共享存储机制。DSM 系统对于程序设计者来说,隐藏了远程通信机制,保持了共享存储系
统所具有的程序设计的方便性和可移植性。它可以通过对现有共享存储系统上的应用程序进
行简单的修改(甚至不作任何修改)便可获得高效的执行,从而在维护软件投资的同时获得
最大的性能。另外,DSM 系统底层分布式存储的可扩放性和代价有效性(Cost Effective)
仍然被继承下来了。因此 DSM 系统为构造高效率的、高可靠性的、大规模的并行机提供了
4
一个可行的选择。在分布式共享存储系统中,共享存储器分布于各节点(一个节点可能有一
个或多个处理器)之中,每个节点包含共享存储器的一部分。节点之间通过可扩放性好的互
连网络(如网孔等)相连。分布式的存储器和可扩放的互连网络增加了访存带宽,但却导致
了不一致的访存结构。
集中式和分布式的共享存储系统又分别可以分成若干类。根据存储器的分布和一致性的
维护、以及实现方式等特征,目前常见的共享存储系统的体系结构可以分为以下几种:
1.无高速缓存结构
在这种系统中处理器没有高速缓存,诸处理器通过交叉开关或多级互连网络等直接访问
共享存储器。由于系统中任一存储单元只有一个备份,所以这类系统不存在高速缓存一致性
问题,但系统的可扩放性受交叉开关或多级互连网络带宽的限制。采用这种结构的典型例子
是并行向量机及一些大型机,如 Cray-XMP,YMP-C90 等。此外,无高速缓存的结构还见
于早期的分布式共享存储系统中,如 CMU 的 Cm
*
、BBN 的 Butterfly、和 Illinois 的 CEDAR
等。
2.共享总线结构
SMP 系统所采用的就是此结构。在这类系统中,每个处理器都有高速缓存,诸处理器
通过总线与存储器相连,且具有相同的访问时间,所以也常叫作均匀存储访问 UMA(Uniform
Memory Access)模型。在共享总线的系统中,每个处理器的高速缓存均通过侦听总线来维持
数据一致性。但由于总线是一独占性资源,这类系统的可扩放性是有限的。此结构常见于服
务器和工作站中,如 DEC、SUN、Sequent 以及 SGI 等公司的多机工作站产品均属于此类。
3.CC-NUMA 结构
P
1
P
2
P
n
…
…
…
x
互联网络
宿主
拷贝
拷贝
拷贝x x
0
m-1
m
2m-1
(n-1)m
nm-1
处理器
保证一致性
的高速缓存
高速缓存
控制器
分布式
共享内存
图 7.3 CC-NUMA 内存组织
CC-NUMA(Cache-Coherent Non-Uniform Memory Access)结构,即高速缓存一致的非均
匀存储访问系统。这类系统的共享存储器分布于各节点之中。节点之间通过可扩放性好的互
连网络(如网孔,环绕等)相连,每个处理器都能缓存共享单元,并通常采用基于目录的方法
来维持处理器之间的高速缓存一致性。高速缓存一致性的维护是这类系统的关键,决定着系
5
统的可扩放性。这类系统的例子有 Stanford 大学的 DASH 和 FLASH,MIT 的 Alewife,以
及 SGI 的 Origin 2000 等。图 7.3 描述了 CC-NUMA 结构的内存组织结构。
4.COMA 结构
COMA(Cache-Only Memory Architecture)结构,即唯高速缓存存储结构。这类系统的共
享存储器的地址是活动的。存储单元与物理地址分离,数据可以根据访存模式动态地在各节
点的存储器间移动和复制。每个节点的存储器相当于一个大容量高速缓存,数据一致性也在
这一级维护。这类系统的优点是在本地共享存储器命中的概率较高。其缺点是当处理器的访
问不在本节点命中时,由于存储器的地址是活动的,需要一种机制来查找被访问单元的当前
位置,因此延迟很大。目前采用唯高速缓存结构的系统有 Kendall Square Research 的 KSR1
和瑞典计算机研究院的 DDM。此外,COMA 结构常用于共享虚拟存储 SVM(Shared Virtual
Memory)系统中。图 7.4 描述了 COMA 结构的内存组织结构。
P
1
P
2
P
n
…
…
…
x x x
互联网络
拷贝 属主 拷贝
处理器
高速缓存
保证一致性
的共享内存
高速缓存
控制器
图 7.4 COMA 内存组织
5.NCC-NUMA 结构
NCC-NUMA(Non-Cache-Coherent Non-Uniform Memory Access)结构,即高速缓存不一
致的非均匀存储访问系统。其典型代表是 Cray 公司的 T3D 及 T3E 系列产品,这种系统的特
点是虽然每个处理器都有高速缓存,但硬件不负责维护高速缓存一致性。高速缓存一致性由
编译器或程序员来维护。在 T3D 和 T3E 中,系统为用户提供了一些用于同步的库函数,便
于用户通过设置临界区等手段来维护数据一致性。这样做的好处是系统可扩放性强,高档的
T3D 及 T3E 产品可达上千个处理器。
以上这些共享存储系统都是硬件实现统一编址的共享存储空间的,可以统称为硬件共享
存储系统,图 7.5 对硬件共享存储系统作了分类,它包括共享总线结构的和分布式共享存储
系统两种,其中的分布式共享存储系统包括无高速缓存结构的和有高速缓存结构的两种,而
有高速缓存结构的分布式共享存储系统又包括高速缓存一致的结构和高速缓存不一致的
NCC-NUMA 结构两种,进而高速缓存一致的结构又可进一步分为 CC-NUMA 结构和唯高速
缓存的 COMA 结构两种。硬件分布式共享存储系统由于搜索和查询目录的工作都是硬件实
现的,因此访问远程数据的延迟相对于软件实现要少得多,从而性能也要比 SVM 系统好得
多。另外,由于硬件自动维护的一致性粒度是高速缓存行,使得假共享和碎片的影响很小。
然而,采用复杂的一致性协议和时延隐藏技术使得硬件的设计和验证非常复杂,因此这种结
剩余46页未读,继续阅读
资源评论
omyligaga
- 粉丝: 54
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功