[发明专利]编解码处理方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种编解码处理方法及装置。

背景技术

云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。在云计算环境中，文件一般被分片保存在多个云存储服务器中。在数据通讯时，需要通讯的数据也会被分为多个分片，逐片传送给对方。

在数据存储时和通讯时，为了解决可靠性的问题，一般采用里德-所罗门（Reed-Solomon，简称为RS）纠删码（Erasure Codes，简称为EC）技术，将文件编码后，分为大小相同的m个分片和n个校验分片，分别进行存储或通讯。对于文件存储或者通讯接收方，只要获得其中任意m个分片，即可通过解码恢复原文件或者数据，因此可以抗n个分片损坏或者丢失，大大提高了系统的可靠性。对于计算机文件存储，纠删码系统的存储空间利用率为m/（m+n），远远高于副本存储方式，因此RS纠删码通过计算能力换取存储能力，显著降低了存储成本和运维成本。

1960年，里德（I.S.Reed）和所罗门（G.Solomon）提出一种构造纠删码的方法，使用该方法的纠删码被称作Reed-Solomon码，简称RS码。基于RS编码技术构造的纠删码则称作RS纠删码。一个(n，k)纠删码是把k个源数据编码为n(n>k)个数据，使得用这n个数据中任意k个数据均可重构原来的k个源数据。采用m个分片和n个校验分片的纠删码体制就是(m+n，m)纠删码。

里德-所罗门码主要包含基于范德蒙矩阵生成的编码，叫范德蒙码（Vandermond Code），和基于柯西矩阵生成的编码，叫柯西码（Cauchy Code）。它们的运算基于有限域——伽罗华(Galois)域进行。它们在实现时可以任意设置m和n值，从而获得较高的存储利用率。

但无论范德蒙矩阵和柯西矩阵的RS纠删码体制，都有一个共同的缺点，就是计算量较大，编码、解码速度较慢。根据已有的公开数学知识，上述两种RS纠删码在编解码时，计算量和时间复杂度均为O(m^2)，并且求解生成矩阵的逆矩阵时，采用高斯-若当消元法为最佳算法，计算量和时间复杂度为O(m^3)，如果解码时使用了k个冗余块，则解码算法运算量为O(mk)。对于长度为L的文件，解码算法运算量为O(Lk)。解码速度和使用的冗余块k成正比，因此，在实际使用中，使用的冗余块值不能太大。目前商用系统中分片数量m一般不超过10，校验片n一般不超过6。为了在计算机通讯领域更好地运用RS纠删码体制，一般采用专用硬件实现编解码功能，提高编解码速度。

另一方面，在使用民用廉价硬盘的云存储系统，和P2P动态存储-通讯环境中，希望能在不影响编码率和解码性能的情况下，抗更多的数据损坏，即要求校验分片n足够大，且使用的RS纠删码编解码算法性能不下降。在这种模式下，单纯靠提高n值是行不通的，会造成计算量的快速增长，导致性能下降到不实用的地步。

因此，在相关技术中存在当允许抗更多的数据损坏时，需要增加计算量，以及影响编解码速率以及性能的问题。

发明内容

本发明提供了一种编解码处理方法及装置，以至少解决现有技术相关技术中存在当允许抗更多的数据损坏时，需要增加计算量，以及影响编解码速率以及性能的问题。

根据本发明的一个方面，提供了一种编解码处理方法，包括：对待编解码数据进行多维格式化处理，其中，所述多维至少为二维；按照预定的顺序，对多维格式化处理之后的待编解码数据的每一维度中的至少二维进行里德-所罗门RS纠删码编解码处理。

优选地，对待编解码数据进行多维格式化处理包括：确定对所述待编码数据进行格式化处理的数据分块大小；在执行编码处理的情况下，根据确定的所述数据分块大小对所述待编码数据进行补割处理；在执行解码处理的情况下，将待解码数据存入确定的所述数据分块大小的数据块的相应位置进行解码处理。

优选地，按照预定的顺序，对多维格式化处理之后的待编解码数据的每一维度中的至少二维进行所述RS纠删码编解码处理包括：在执行编码处理的情况下，按照所述多维逐级去维度的方式，对多维格式化处理之后的待编解码数据的每一维度进行所述RS纠删码编码处理；在执行解码处理的情况下，按照所述多维逐级加维度的方式，对多维格式化处理之后的待编解码数据的每一维度进行所述RS纠删码解码处理。