没有合适的资源?快使用搜索试试~ 我知道了~
基于Hadamard矩阵构造部分重复码.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 186 浏览量
2022-12-15
14:26:47
上传
评论
收藏 288KB DOCX 举报
温馨提示
试读
12页
基于Hadamard矩阵构造部分重复码.docx
资源推荐
资源详情
资源评论
近年来,由于数据量的快速上升,急需一种适宜的大数据存储系统。分布式存储系统
由许多廉价磁盘组成,以其突出优势成为海量数据存储的有效系统,并被广泛部署和使用
[1]
。但在分布式存储系统中,节点容易发生故障,造成数据丢失。因此,故障节点的快速
修复研究成为了分布式存储系统可靠性的重中之重。
目前,分布式存储系统主要通过复制和纠删码策略来恢复节点故障。复制策略中三副
本复制最为常见,故障节点修复具有较低的修复带宽开销,但需要存储大量的副本数据,
存储开销较大。纠删码策略通过增加校验数据块来确保数据存储的可靠性,实现故障节点
修复,且存储开销较小。虽然纠删码弥补了复制策略存储开销大的缺点,但是纠删码在修
复故障节点时的修复带宽开销过大
[2]
。
鉴于复制和纠删码策略存在上述局限性,文献[3]将网络编码应用到分布式存储中,提
出了再生码的概念,降低了故障节点的修复带宽开销。现在再生码研究重点在最小存储再
生(minimum storage regeneration, MSR)码和最小带宽再生(minimum bandwidth regeneration,
MBR)码
[4-5]
。再生码在修复故障节点时,需要连接大量存活节点以获得较低的修复带宽开
销,且在修复过程中涉及有限域运算,计算复杂度相对较高。随后,文献[6]提出了局部修
复码(locally repairable codes, LRC),使修复过程中需要连接的存活节点数较小,修复带宽
开销较低,具有较好的修复局部性。将再生码和局部修复码结合,文献[7-8]提出了局部再
生码的概念,达到存储−带宽开销的最佳折中。其中,基于系统 MSR 码的局部再生码,故
障局部码可以通过相邻局部码进行协作修复
[9]
。
文献[10]提出了一种精确最小带宽再生码—部分重复(fractional repetition, FR)码,故障
节点修复过程中的计算复杂度和修复带宽开销都有所降低,可以实现故障节点的精确无编
码修复。近年来,许多研究人员对 FR 码进行了研究,文献[11]利用组合设计来构造 FR
码。随后,学者们又相继给出了几种基于组合结构的 FR 码构造,包括基于射影几何的 FR
码构造
[12]
、基于正则图的 FR 码构造
[13]
及基于可分组设计的 FR 码构造
[14]
。
现有 FR 码对于故障节点的修复,特别是多节点故障修复,其修复带宽开销和修复局
部性较高,同时修复复杂度也较高。文献[13]提出了基于正则图构造 FR 码,随后文献[15]
提出了运用网格构造 FR 码,但其都只能修复单节点故障。基于相对差集的 FR 码构造,能
够修复分布式存储系统中的多节点故障,但是随着参数的增大,其节点存储容量和构造复
杂度会随之增大
[16]
。而且常见的 FR 码构造随着系统规模和参数的增大,其节点数或节点
容量增大,构造复杂度也会增大。本文提出基于 Hadamard 矩阵构造 FR 码,同时对其进行
分组,运用 8 阶 Hadamard 矩阵提出了分组构造 FR(Hadamard grouping fractional repetition,
HGFR)码的一般算法,实现故障节点的局部修复。基于 Hadamard 矩阵分组构造 FR 码可以
对多个节点故障进行快速精确无编码修复,有效降低了运算复杂度,同时运用了分组可以
实现组内修复,复杂度进一步降低,实现故障节点的快速修复。理论分析发现,与 RS 码
和 SRC 简单再生码相比,设计的 FR 码在分布式存储系统节点发生故障时,修复局部性、
修复复杂度和修复带宽开销进一步降低,且修复效率提高,减少了故障节点的修复时间。
1. Hadamard 矩阵和部分重复码
1.1 Hadamard 矩阵
Hadamard 矩阵是在工程技术上运用较多的一类矩阵,Hadamard 矩阵是特殊的 1、−1
二元矩阵,具体定义如下:
定义 1
[17-18]
nn 阶方阵 HnHn,其元素为 1 或−1,并且满足:
HnHnT=nInHnHnT=nIn
称 HnHn 为 nn 阶 Hadamard 矩阵,其中 InIn 是 nn 阶单位矩阵。
若 HnHn 的第 1 行和第 1 列全是 1,该 HnHn 为 Hadamard 矩阵的标准型。以下所涉及
的 Hadamard 矩阵 HnHn 均为 Hadamard 标准型矩阵。
Hadamard 矩阵有如下一些性质:
1) 将 Hadamard 矩阵的任意两行(或两列)交换,Hadamard 矩阵的任意一行(或一列)的
所有元素乘以−1,得到的矩阵仍然为 Hadamard 矩阵。
2) 若 HnHn 是 nn 阶 Hadamard 矩阵(n>2)(n>2),则 nn 是 4 的倍数。
定义 2
[19]
令:
Kn=Jn+Hn2Kn=Jn+Hn2
其中 JnJn 表示元素全为 1 的 nn 阶矩阵,则得到 nn 阶 0-1 矩阵 KnKn。
性质 1 矩阵 KnKn 中除第一行之外,每一行都有 n/2n/2 个 1 和 n/2n/2 个 0。
1.2 FR 码
FR 码是在 MBR 码基础上提出的,典型的 FR 码由两部分组成,外部的 MDS 码和内
部的重复码
[20]
。
定义 3(FR 码)
[21]
分布式存储系统中参数为(n,k,d)(n,k,d)的部分重复码
C=(η,M)C=(η,M),将数据块复制 ρρ 倍(即重复度为 ρρ),特定地,nn 个子集的集合
M=M={M1,M2,⋯,Mn}{M1,M2,⋯,Mn},子集中的元素都来自于集合 η=η={1,2,⋯,θ}{1,2,
⋯,θ}。
同时应满足以下两个条件:
1)每个子集的大小均为 dd;
2) ηη 中的每个元素属于 MM 中的 ρρ 个子集。
上述定义中,数据块是经过 MDS 编码后的数据块。FR 码的实质是将数据块复制 ρρ
倍,然后将其排列到 nn 个节点,同时使相同的数据块不出现在同一个节点上。图 1 为经
过(12,9)(12,9)MDS 编码后构成(12,9,4)(12,9,4)FR 码,其中 ρρ 为 2,数据复制 2 倍,每个
节点存放 4 个编码数据块。
FR 码修复故障节点时直接从未失效节点中下载丢失的所需数据块,不进行编译码操
作即可完成故障节点的迅速修复。FR 码可实现精确无编码修复,修复带宽开销和修复时间
较低,修复复杂度较小,同时能够容忍 ρ−1ρ−1 个节点故障。
图 1 (12,9,4)(12,9,4)FR 码
下载: 全尺寸图片 幻灯片
2. 基于 Hadamard 矩阵构造 FR 码
本节基于 Hadamard 矩阵构造 FR 码。首先选取一个 4t(t=1,2,3,⋯)4t(t=1,2,3,⋯)阶的
Hadamard 矩阵,对其进行简单的变换得到所需要的矩阵;再将矩阵与分布式存储节点和编
码数据块相对应,矩阵的行代表存储节点,矩阵中不同的列表示不同的编码数据块。由
Hadamard 矩阵引出 FR 码一般性构造算法,其具体步骤如下:
1) 将原始文件 MM 分成 kk 个原始数据块,这里 k⩾2k⩾2。对该 kk 个原始数据块采
用(n,k)(n,k)MDS 编码(n⩾k)(n⩾k),得到 nn 个编码数据块 c1,⋯,ck−1,ck,ck+1,⋯,cnc1,
⋯,ck−1,ck,ck+1,⋯,cn,nn 个编码数据块包括 kk 个原始数据块和 n−kn−k 个校验数据块;
2) 取一个 n+1 阶标准型 Hadamard 矩阵 Hn+1Hn+1,其中 n+1=1,2,或 n+1=0(mod4);
3) 根据公式:
K′n+1=Jn+1+Hn+12K′n+1=Jn+1+Hn+12
(1)
得到 0-1 矩阵 K′n+1(n⩾k)K′n+1(n⩾k),其中 Jn+1Jn+1 表示元素全为 1 的 n+1n+1 阶矩
阵,Hn+1Hn+1 为标准 Hadamard 矩阵,需满足 n+1n+1 为 4 的倍数;
4) 对 0-1 矩阵 K′n+1K′n+1 进行变换,将第一行第一列删去得到新矩阵 KnKn;
剩余11页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3652
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功