更全的杂志信息网

基于Hadamard向量的新型(k+2,k)MSR码

更新时间:2009-03-28

0 引言

分布式存储系统是为了解决海量数据存储问题而出现的一种大规模文件存储设备群.与传统集中式的存储方案不同,分布式存储系统是将整个数据包分为若干块,再分别存储到不同的设备节点上.目前已得到应用的大型分布式存储系统主要有OceanStore[1]、Total Recall[2]、DHash++[3]等.

此外,一些传统食品被淘汰,以之为谜底的谜语也淘汰了。例如黄冈县1966年前在中秋节给小孩吃的“月亮糕”,就被五花八门的月饼所取代,月亮糕以及以之为谜底的谜语就都消亡了。

但实际上分布式存储系统内部的每个存储设备都是相互独立的,且每个存储设备的可靠性仍然不高.为进一步提高系统的可靠性,数据就需要在存储之前通过编码方式来增加数据的冗余度.纠删码策略是目前分布式系统中应用较为广泛的一种编码技术.纠删码虽然可以通过增加数据冗余度来保证数据的可修复性,但其在修复过程中占用较大的网络带宽,造成网络拥堵.因此,Dimakis等[4]为了减少网络拥堵问题提出了再生码编码策略.再生码在数据修复过程中结合网络编码的思想,减少了网络中传输的数据总量,即修复带宽,从而达到修复带宽和节点存储量的折衷最优特性.

进一步从矿里范围来看,金矿化的有利突变,主要是娟英岩化以及黄铁矿,这两种主变过程较为明显的较为强烈时,可以看到石英脉落的穿插现象,则表明该地区深部存在有盲矿体。越是靠近矿源层接触带,则矿物质越丰富集中,更易形成富矿体。

现有的针对单节点修复的再生码修复方案中,采用高码率编码策略可以极大地提高磁盘利用率[5-6].这些高码率的再生码,主要有Hadamard MSR码[7]、Zigzag再生码[8]等.其中Hadamard MSR码采用了(k+2,k)系统码的编码结构,这种结构的优势在于系统重构文件时若选取系统节点则无需计算[9].Hadamard MSR再生码的编码特点是将Hadamard向量作为编码矩阵的主对角线,利用Hadamard向量的特殊性质来满足再生码的要求.很多后续学者对编码矩阵的构造方法进行了简化和改进[9-11],但Hadamard MSR码在修复过程中的计算复杂度仍然较高.本文提出了一种新的基于Hadamard向量的编码策略,改变了hadamard向量在编码矩阵中的位置.由此在保证了MSR再生码基本要求的基础上,能够减少编码算法在修复过程中的计算复杂度.

1 (k+2,k)Hadamard MSR 再生码

由以上理论基础,在Hadamard最小存储再生码中设(k+2,k)编码的文件大小为M=k2k+1,所以单一节点的存储量α=2k+1,相应的编码矩阵为

由表1中的编码阵列可以看出,在这个编码结构下的第1个冗余节点存储的是所有k个系统节点数据的总和,第2个冗余节点存储的是k个节点的线性组合其中Ai为一个α×α的编码矩阵.当系统中一个节点丢失数据后,为了使系统保持相同的冗余度,新节点加入网络后就需要从网络中的若干个剩余节点中下载一定数量的数据来重建fi.假设新节点从2个冗余节点中下载的数据量相同,则下载的数据可以表示为α个方程

 

表1 (k+2,k)Hadamard最小存储再生码编码存储阵列Tab.1 Structure of a(k+2,k)Hadamard MSR code

  

系统节点 系统数据1 f1 k fk冗余节点 冗余数据1 f1+…+fk 2 AT 1f1+…+AT kfk

 

式中:是由2个冗余节点下载的数据所组成的α个方程,相应的是修复矩阵.为了满足最小存储再生码的性质,要求

 

满秩限制是为了保证可以将丢失的节点数据找回,而秩最小限制是为了在数据修复过程中消除干扰项使修复带宽能够达到最小值.为修复丢失的数据,需要从每个校验节点下无α/2个线性独立的方程,因此修复矩阵为满秩矩阵.所以各干扰项的维数可以被抑制为α/2,达到了节点存储量和修复带宽的折衷最优.

Hadamard最小存储再生码是2011年由Papailiopoulos等提出的一种高码率的最小存储再生码,后续有多位学者对其进行算法改进.以文献[9]中的Hadamard MSR码为例,其采取了系统码的存储形式.这种存储形式的优势是可以在系统需要读写数据时不经过编译码直接读取文件的原始数据,减少编译码过程.Hadamard MSR码的基本编码思想是将一个数据量大小为M=kα的文件均分为k个部分,把每个部分做为一个向量,即其中Hadamard编码存储阵列可如表1所示.

 

式中:对于任意i∈[k]均成立.

新课改要求我们逐渐摒弃原来填鸭式的教学方式,而对学生进行素质教育,在此背景下,高中音乐教学的方式也要进行相应的创新。通过分析我们可以知道,当前的高中音乐教学普遍存在着学生兴趣不高、教学形式化严重以及教学方式枯燥单一等问题。而为了提高新课改下高中音乐教学的创新路径,我们可以加入形体教学的方法,充分挖掘音乐素材等形式,来对高中音乐教学的路径进行创新,使学生们能够达到新课改的要求。

对于埋深比较小且地表不准许塌陷的采空区,应该应用充填法及时处理采空区。对于汝阳等露天台阶下的采空区,应测量覆岩厚度。当覆岩厚度大于露天穿爆的安全厚度时,可以在采矿过程中应用高台阶爆破,一次性处理采空区;当覆岩厚度小于露天穿爆的安全厚度时,应废石或沙子充填采空区,以防穿爆设备及车辆掉入台阶下部的采空区而造成事故;如果采空区处在露天最终边坡的正下方,应该胶结充填采空区,以便确保最终边坡的稳定。

在国际货物贸易谈判中,优秀的外贸专业性人才必不可少,这将在很大程度上决定着茶叶出口的价格条款及运输条件等一系列程序。拥有善于谈判,充分争取我方利益的外贸人才无疑是给出口带来诸多好处。但江西省的茶叶出口中缺乏拥有丰富茶叶知识以及外贸经验丰富的人才。

 

式中:i∈ {1,2,…,k-1,k}.

2 新型(k+2,k)Hadamard MSR再生码

建筑的结构设计往往在很大程度上体现了一座城市的经济发展状况,并且可以反映一个城市或一个国家的文化特征和民族特征。建筑结构设计代表着一座建筑的灵魂,要使建筑行业得到更广阔的发展前景,需要对建筑结构设计的优化方法进行研究。

 

就可使这种Hadamard编码符合再生码的性质要求.

变型后的Hadamard向量有如下一些基本性质:每个行向量均有2k-1个1元素,2k-1个0元素,且任意2个Hadamard向量均有2k-2个1元素在相同的位置上.若将hi中元素从左至右进行标号,这些下标可记为{1,2,3,…,2k-1,2k}∈S.设Si为hi中1元素所对应位置的集合,记为Si={si1,si2,…,si2k-1}.在有限域上,取α个基底行向量,依次排列为

 

式中:ei=(0,…,0,1,0,…,0),是仅第i位为1的单位向量.由这些基底行向量就可以构造出一个秩为α/2的α/2×α修复矩阵

切斯瓦夫·米沃什:对待存在的正确态度是尊重,因而应避免与那些借讽刺挖苦来贬低存在,同时又赞美虚无的人为伍。

 

将Vi作为修复矩阵,构造编码矩阵

 

式中:Xi为将 blkdiag(hi)中所有元素循环右移 2i-1位得到的矩阵,从而将变型后的Hadamard向量放置编码矩阵的非主对角线的位置上.由此得到的Ai与Vi即可构造一种新的MSR再生码.

2.1 系统节点的修复特性

这种新的MSR再生码的修复矩阵是由α/2个单位向量组成.当一个单位向量esil乘以一个编码矩阵Ai时,相当于取出行下标sil在该编码矩阵中对应的行向量.设,则Si中各元素存在如下的对应关系:sil+2i=sil,其中1≤l≤2k-1.

由公式(1)知,ViAi与Vi组成了一个新的矩阵,如:

 

公式(3)中的满秩限制要求矩阵(11)满秩,即要求部分矩阵Ai′满秩.由于并不存在一个元素既在集合Si中又在集合中,所以编码矩阵主对角线上元素可以取任意非零值.编码矩阵Ai中的Xi为blkdiag(hi)循环右移2i-1位得到的矩阵,即只在编码矩阵Ai的Si对应各行中的对应各列中增加1元素.所以部分矩阵Ai′中2k-1个1元素分布在不同的行与不同的列中,矩阵中的其余元素均为0.因此保证了矩阵(11)满秩.

联:奶糖味润唇膏让“国民奶糖”大白兔又火了,应时而变的大白兔联手美妆跨界设计产品,让老字号“国货”成就“国潮”。

 

将矩阵(10)进行行初等变换后得到

同理,公式(2)中的半秩限制要求任意Aj乘以Vi得到的矩阵秩要降为α/2,对其进行如上处理,得到

 

要满足矩阵(12)的秩降为α/2,则要求对应的部分矩阵行中的列上的元素全为0.由于所以ViAj满足上述要求,保证矩阵(12)秩为α/2.由此,满足再生码节点存储量和修复带宽折衷最优的要求,达到了系统节点的最优修复功能.

2.2 MDS性质及有限域的大小

MDS性质要求:n个节点中任意n-k个节点数据即能重构出全部完整的数据信息,即要求Ai满秩,且Ai-Aj满秩,其中0<i≠j≤k.

定理1 编码矩阵AiiI+Xi,其中μi≠0,Xi为blkdiag(hi)中各元素循环右移2i-1位得到的矩阵,则Ai满秩.

证明 由AiiI+Xi知,μiI满秩,而hi是由连续2i-1个1与连续2i-1个0交替组成,Xi为blkdiag(hi)中各元素循环右移2i-1位得到的矩阵,即Xi矩阵中2k-1个1元素可由μiI中所对应的元素通过行初等变换抵消,因此Ai经行初等变换后可变换为μiI,故满秩.

定理2 由定理1中定义的编码矩阵Ai,当μij≠0时,Ai-Aj满秩.

证明 由 Ai的定义可知 Ai-Aj= (μi- μj)I+ (Xi-Xj),其中,所以(μi- μj)I部分满秩. 在(Xi-Xj)矩阵中,共有Si∩Sj=2k-2行有2个非零元素,行中仅有1个非零元素,此外还

行没有非零元素.设Si∩Sj中的元素所对应各行的坐标用表示,则这些行中的两个非零元素所在列坐标分别为.这些坐

本文根据以上编码思想,构造出一种新的MSR再生码.设分布式存储系统中系统节点数为k,节点存储量α=2k.取Hadamard向量,变型为仅由0和1元素构成的形式,如

标所对应的行坐标为Si+Sj-Si∩Sj中的行坐标,即这些行中除对角线上元素外仅有一个非零元素.设Xi-Xj矩阵中没有非零元素的各行的行坐标用表示,则(μij)I中对应行中的对角线元素可以消去中Xi-Xj对应列中的非零元素.由于所以此阶段的行初等变换过程中消去的是Si+Sj-Si∩Sj各行中Xi-Xj的非零元素.此时,Xi-Xj中仅剩Si∩Sj各行有非零元素.这些元素可由剩余行的对角线元素消去.所以Ai-Aj进行行的初等变换后可变换为(μij)I,故Ai-Aj满秩.

由以上MDS性质要求,有限域Fq中元素要满足,所以有限域中的元素个数要大于等于k,即要求q≥k+1.

同时,修复矩阵的列向量采用

2.3 新型Hadamard MSR再生码的计算复杂度

当系统节点因失效丢失存储的α个数据时,数据修复过程就会启动,这个过程可分为3个阶段:1)数据下载阶段;2)由第1个校验节点恢复失效节点的α/2个数据;3)由第2个校验节点恢复失效节点余下的α/2数据.具体修复过程如下:

医院的医疗设备和床位决定了这个医院能够接受的患者的最大程度是多少,也是医疗资源的主要指标之一。在全面开放二胎政策的大背景下,产妇逐渐增多,而且大龄产妇的数量也在逐年递增,导致孕产妇的高入住率。而且,孕妇的病情变化一般很快,如果,高危产妇无法及时入住医院,则会给母婴都带来极大的伤害。同时,即使孕妇入住了医院,床位只是最基本的,如果其他医疗设备及资源不能满足产妇的需求,也会影响母婴的健康。也由于高龄产妇的增加,住院的时间大大增加,也加剧了基础硬件短缺的问题。

1)为了精确修复失效的系统节点,新节点需要从剩下的k+1个幸存节点下载数据.由于修复矩阵仅由单位向量构成,所以修复矩阵与编码矩阵的乘法可简化为直接取出编码矩阵对应行的元素,消除了修复过程中读取数据时的乘法运算.

2)下载的数据首先由第1个校验节点恢复失效节点的α/2个数据.由第1个校验节点存储的数据可知,此过程仅通过有限域加减法运算即可修复丢失节点的α/2数据.这个过程中需要进行(k-1)α/2次有限域加法.

3)失效节点剩余的α/2数据由第2个校验节点进行修复.首先需要将各幸存系统节点数据和已修复数据分别乘以对应编码矩阵中的系数μi,由此需要进行kα/2次乘法.然后与第2个校验节点进行kα/2次加和运算后,得到Vi(X1+X2+…+Xk).再进行(k-1)α/4次有限域加法运算消去Vi(X1+X2+…+Xi-1+Xi+1+…+Xk),既为失效节点剩余的α/2数据,从而完成失效系统节点的数据精确修复.

与文献 [9]中原始Hadamard MSR码的修复过程计算复杂度进行对比,结果如表2所示.

 

表2 原始(k+2,k)Hadamard MSR再生码与新型(k+2,k)Hadamard MSR再生码算法计算复杂度对比Tab.2 Comparison between the original and new repair strategies for(k+2,k)Hadamard MSR code

  

修复策略 有限域加法次数 有限域乘法次数 有限域大小文献[9]Hadamard MSR再生码 (3k+1)α ≤(k+3)α ≥2k+3本文改进Hadamard MSR再生码 (5k-3)α/4 kα/2 ≥k+3

以k=2,α=22为例,此时为(2+2,2) Hadamard MSR再生码,对应的编码矩阵与修复矩阵如

 

式中:,且μ2,μ2∈F3,ei是仅第i位为1的单位向量.若节点1失效,表3中给出了文献 [9]与本文中两种码的计算复杂度对比数据.由此例可以看出,改变Hadamard向量在编码矩阵中的位置,可以减少修复过程中所需有限域上的运算次数,进而降低这种新型Hadamard MSR码的计算复杂度.

 

表3 (2+2,2)Hadamard MSR码算法复杂度对比Tab.3 Computation load of(2+2,2)Hadamard MSR code

  

修复策略 有限域加法次数 有限域乘法次数文献 [9]中的Hadamard MSR再生码 28 17本文改进Hadamard MSR再生码 07 04

3 结束语

本文通过对Hadamard MSR码进行研究,改进其编码矩阵,得到了一种新型(k+2,k)Hadamard MSR码.通过对Hadamard向量进行变型,采用仅由0和1元素组成的Hadamard向量,简化了编译码过程.同时改变Hadamard向量在编码矩阵中的位置,将Hadamard向量移至编码矩阵中的非主对角线的位置上,而非原始的主对角线位置.这种编码策略的优势是将修复过程中的有限域乘法转换为有限域加法,在实现最优修复系统节点数据的同时,能够降低修复过程中的计算复杂度.

毫无征兆,辛娜突然主动上演了这一出戏,给了处于弱势的王树林挺胸做人的机会。男人久违的气场迫使王树林采取拒不配合的姿态,他躲闪开辛娜的热辣,不为所动地说,你喝多了吧!

参考文献:

[1] Rhea S,Wells C,Eaton P,et al.Maintenance-free global data storage[J].IEEE Internet Computing,2001,5(5):40-49.

[2] Bhagwan R,Tati K,Cheng Y C,et al.Total recall:system support for automated availability management[C]//Symposium Networked Systems Design and Implementation(NSDI).San Francisco:ACM,2004:25-25.

[3]Dabek F,Li J,Sit E,et al.Designing a DHT forlow latency and high throughput[C]//Symposium NetworkedSystems Design and Implementation(NSDI).San Francisco:ACM,2004:85-98.

[4] Dimakis A G,Godfrey P,Wu Y,et al.Network coding for distributed storage systems[J].IEEE Transactions on Information Theory,2010,56(9):4539-4551.

[5] Dimakis A G,Ramchandran K,Wu Y,et al.A survey on network codes for distributed storage[J].Proceedings of the IEEE,2011,99(3):476-489.

[6] 郝杰,逯彦博,刘鑫吉,等.分布式存储中的再生码综述[J].重庆邮电大学学报:自然科学版,2013,25(1):30-38.

[7]PapailiopoulosDS,DimakisAG,Cadambe VR.Repairoptimal erasurecodesthrough Hadamarddesigns[J].IEEE Transactions on InformationTheory,2013,59(5):3021-3037.

[8] Tamo I,Wang Zhiying,Bruck J.Zigzag codes:MDS array codes with optimal rebuilding[J].IEEE Transactions on Information Theory,2013,59(3):1597-1616.

[9] Tang X,Yang B,Li J,et al.A new repair strategy for the Hadamard minimum storage regenerating codes for distributed storage systems[J].Information Theory,IEEE Transactions on Information Theory,2013,61(10):5271-5279.

[10]黄冬梅,唐春明,亓延峰.(k+2,k)的Hadamard极小存储再生码的明显修复方案[J].杭州电子科技大学学报,2016,36(5):82-86.

[11] 张司娜,唐小虎,李杰.一类新的(k+2,k)Hadamard MSR 码[J].西南交通大学学报,2016,51(1):188-200.

 
李琛,李琦,高军萍,岳红翠,万梦华
《河北工业大学学报》2018年第02期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号